מה חדש ב־ LiteLLM 1.97 ו־1.98.0? עדכונים חשובים למשתמשי AI Gateway

פורסם ב 24 באוגוסט 2026 ¬ 8:05Tamir Gefen

אם אתם מנהלים סביבות AI ארגוניות, משתמשים ב־LiteLLM כ־AI Gateway,
או שוקלים לאמץ אותו – כדאי לכם לקרוא את המאמר הבא.

בשבועות האחרונים יצאו שתי מהדורות משמעותיות: LiteLLM 1.97 ו־LiteLLM 1.98.0, עם שיפורים בניתוב חכם, חיסכון בעלויות, אבטחה מורחבת ותמיכה במודלים חדשים. ריכזנו עבורכם את עיקרי הדברים.

שיפורים ב־Auto Router: ניתוב חכם יותר, חיסכון אמיתי

גרסה 1.97 מציגה שדרוג משמעותי ל־Auto Router – מנגנון הניתוב האוטומטי של LiteLLM.
כעת, ה־LLM Classifier מקבל חלון של 3 פניות קודמות בשיחה, מה שמעלה את דיוק הניתוב מ־14% ל־78% בפניות המשך, ללא השפעה על latency.

בנוסף, Session Affinity כבוי כעת כברירת מחדל – מחקר הראה שזה לא משפר חיסכון אך פוגע באיכות הניתוב.

ב־1.98 נוספה יכולת Shadow Evals – הרצת סימולציה של ה־Auto Router על תעבורה קיימת, כדי לבדוק את החיסכון הצפוי לפני אימוץ.

הסבר מפורט: מה זה Auto Router ב‑LiteLLM ואיך הוא חוסך זמן וכסף?

חיסכון בעלויות: PTU Billing ו־Cost Optimization

גרסה 1.98 מציגה Provisioned Throughput Unit (PTU) Billing – מודל תמחור חדש שמאפשר לשלם על קיבולת שמורה בתעריף שטוח, ללא חיוב כפול לפי טוקנים. זה קריטי לארגונים עם תעבורה צפויה וגבוהה.

בנוסף, נוספו 6 headers חדשים (x-litellm-response-cost-*) שמפרטים את עלות כל רכיב בתשובה (input, cache, output, tools ועוד), מה שמאפשר שקיפות מלאה בחיוב.

אבטחה והרשאות: MCP Entitlements ו־Guardrails

ב־1.98 נוספו MCP Entitlements – הרשאות מפורטות ל־MCP Tools לפי מפתח, צוות, Agent או ארגון, כולל מצב post_mcp_call שיכול לסנן או לחסום תוצאות של כלים אחרי הריצה.

כמו כן, שופרו יכולות ה־Guardrails עם תמיכה ב־Palo Alto Prisma AIRS ו־Bedrock Guardrails, כולל סריקת תוצאות כלים והחזרת תשובות מלאות במקרה של חסימה.

מודלים חדשים ותמיכה רחבה יותר

בין המודלים החדשים שנוספו:

Claude Mythos 5 (Anthropic) – מודל Reasoning מתקדם עם חשיבה אדפטיבית
GPT-5.6 גרסאות Sol/Terra/Luna (OpenAI) – עם תמחור מופחת ב־80%
Gemini 3.7 Flash (Google) – תמיכה מלאה ב־Day-0
Grok 4.6 (xAI) – מודל Reasoning עם תמחור עדכני
ועוד עשרות מודלים מ־Azure AI, DashScope, Meta, Mistral ועוד

Admin UI: מעבר ל־shadcn ושיפורי חוויה

גרסה 1.98 מציגה מעבר נרחב של ממשק ה־Admin UI מ־antd/Tremor ל־shadcn primitives – כולל דשבורד, Playground, Guardrails, Usage, Cost Tracking ועוד. המעבר משפר ביצועים, נגישות ועקביות עיצובית.

נוספו גם יכולות כמו:

Per-key prompt caching toggle – הפעלה/כיבוי caching לפי מפתח
Routing Groups – קבוצות מודלים שניתן לקרוא להן כ־virtual models
Shadow Evals UI – ממשק להרצת והצגת תוצאות סימולציות Auto Router

למה זה חשוב?

אם אתם כבר משתמשים ב־LiteLLM – העדכונים האלו יכולים לחסוך לכם כסף, לשפר ביצועים, ולהקשיח אבטחה. אם אתם שוקלים לאמץ – עכשיו הזמן: התמיכה במודלים חדשים, השקיפות בעלויות, והיכולות המתקדמות הופכות את LiteLLM לפתרון בשל יותר מאי־פעם.

רוצים עזרה בתכנון, פריסה, או אופטימיזציה של LiteLLM בארגון שלכם? אנחנו זמינים ב־ litellm@almtoolbox.com או בטלפון 072-240-5222 . נשמח לעזור!