מה חדש ב־LiteLLM? חידושי ספטמבר – אוקטובר 2026

משתמשים ב־LiteLLM כ־AI Gateway ארגוני?
בתקופה שבין החגים בספטמבר עד היום (7 בספטמבר ל־21 באוקטובר 2026) נוספו למוצר יכולות לניהול AI Agents, ניתוב בין מודלים, אבטחת MCP ובקרת עלויות. הסקירה כוללת את גרסאות v1.101.0 עד v1.106.0, ששוחררה כ־Stable ב־18 באוקטובר, לצד עדכוני Patch רלוונטיים.

שיפורים ב- Auto Router

נוספו Classifiers מסוג Heuristic ו־Hybrid, הבוחרים Model Tier מקומית או נעזרים ב־LLM בעת הצורך. נוספו גם Capability-based Routing, משקלי ניקוד הניתנים להגדרה, מגבלות Output והקצאת Deployments לצוותים בחלונות זמן מוגדרים.

אלו מרחיבים את האפשרויות להתאים מודל למשימה ולנהל את האיזון בין איכות לעלות.

להרחבה: מה זה Auto Router ב־LiteLLM ואיך הוא חוסך זמן וכסף?

AI Agents ו־ Decisions API

ממשק ה־SDK החדש, litellm.agent(),
מאפשר להפעיל את Claude Code, Codex, OpenCode ו־Deep Agents דרך ה־Gateway.
נוספו גם זהויות Microsoft Entra ID עבור Agents, ‏Delegated Authentication ואכיפת הרשאות.

Decisions API מאפשר לשלוח שאלות מסוג Yes/No, בחירה וניקוד דרך Endpoints אחידים.
במהלך התקופה הורחבה התמיכה בספקים, לרבות Laya, Bespoke Nimble ו־Databricks.
ניתן להשתמש ב־Decision Models גם עבור Guardrails וסיווג בקשות ל־Auto Router.

Lens לתחקור פעילות Agents

Lens, שהוצג ב־Beta, ויכולות Agent Traces מחברים בין נתוני ריצה לעלויות, עם OpenTelemetry ו־ ClickHouse.
בגרסה 1.106.0 הועברו קליטת ה־Traces וניהולם לשירות Rust נפרד, שאליו Agents שולחים נתונים ישירות. נוספו חקירות רציפות (Always-on Investigations), ריכוז Findings ו־Feedback ממשתמשים, המסייעים לזהות ולחקור בעיות בריצות

אבטחת MCP והקשחת ה־Gateway

Semantic Tool Search מאתר כלים לפי רלוונטיות והרשאות.
נוספו סריקה ומיסוך של Tool Arguments, Client Allowlist וניהול Sessions. ב־1.106 הורחב Rate Limiting לכל פעולות MCP, כולל מגבלה ברמת השרת, ונחסמה העברת מפתח ה־LiteLLM של המשתמש לשרתים שמאחורי ה־Gateway. 

בנוסף, הוקשחו דרישות ה־Master Key, נוספו זיהוי סיסמאות שנחשפו בדליפות וביטול Sessions בעת Logout, ושרתי stdio MCP הושבתו כברירת מחדל

מצורף גם סרטון חדש המסביר כיצד LiteLLM יכול לעזור באבטחת MCP Server :

בקרת עלויות ויציבות תחת עומס

נוספו Off-peak Pricing, דוחות הוצאות לפי משתמש בצוות, הגדלות תקציב זמניות ואכיפה משופרת בין Replicas ובמעבר למודלי Fallback.

גרסה 1.105.1 תיקנה אובדן רשומות הוצאות תחת עומס ורישום כפול בבקשות גדולות מסוימות במסלול Chat-to-Responses. גם ענף 1.100.x קיבל תיקוני איפוס תקציבים ועדכוני Dependencies. במקביל שופרו Native OCR, ‏Connection Pooling, ‏Redis ובקרות Autoscaling.

שיפורי אמינות ב־1.106.1

גרסה 1.106.1 כוללת תיקוני Token Counting מענף 1.104.4: בקשות בפורמט Anthropic עבור OpenAI ו־Gemini נספרות בהתאם להמרה בזמן הריצה, והשדה litellm_count_source מציין אם הספירה מגיעה מהספק, ממודל ספירה או מהערכה מקומית. בנוסף, תוקנו Tool Calls במסלול Chat-to-Responses, ונשמרים Thinking Blocks חתומים גם כשהטקסט שלהם ריק.

תוקנו גם קריאות לכלי MCP בשם ללא קידומת כאשר הבקשה מוגבלת לשרת יחיד, ושגיאות בעדכון Vector Store Metadata.

גם ענפים קודמים עודכנו: 1.105.2 כוללת תיקוני ספירה, Tool Calls ותמחור Streaming דרך Model Aliases, ואילו 1.103.6 מתקנת טיפול בשגיאות חיבור Realtime ורישום הוצאות כפול

Admin UI ומודלים חדשים

ב־1.106 נוסף עמוד Home עם סיכומי שימוש ו־Model Leaderboard, לצד עמוד Usage מחודש ולשונית Decisions ב־Playground. במהלך התקופה הורחבה התמיכה ב־Claude Opus 5.5, Claude Sonnet 5.5, Claude Haiku 5.5, GPT-6 ו־GPT-6.1 Sol

לפני שדרוג – כדאי לזכור:

לפני שדרוג, מומלץ לבדוק את ה־Breaking Changes הרלוונטיים להתקנה, במיוחד בנושאי Authentication,
Configuration, Caching, MCP והמעבר של Lens לשירות נפרד.

צריכים עזרה עם LiteLLM?

אנו ב־ ALM Toolbox, הנציגים הרשמיים של LiteLLM בישראל, מציעים רישוי Enterprise, ייעוץ בשדרוגים ובכלל, הטמעה ותמיכה מקומית, הקשת סביבה (hardening), חיבור מול כלים משלימים כגון LangFuse , ClickHouse , ספקי SSO ועוד.
לפרטים נוספים, פנו אלינו: litellm@almtoolbox.com
או בטלפון 072-240-5222