מה חדש ב- LiteLLM ? ריכוז עדכונים אחרונים

אני שמחה לעדכן שיצאה אתמול מהדורה חדשה למוצר (1.96),
וכן יצאו מספר מהדורות בשבועות האחרונים (1.95 ו- 1.94) .

בשבועות האחרונים יצא לנו לעזור ללקוחות רבים בתכנון פריסה של המוצר,
בהדרכות על המוצר, בקינפוג המוצר מול מערכות ארגוניות
לצורך חסכון כספי בטוקנים ושיפור האבטחה והפרטיות סביב AI,
הקשחת הסביבה של המוצר, תכנון High Availability ועוד! 

אנו נשמח לעזור במוצר ובהיבט הרחב יותר של תשתית AI ובניית סביבות AI שהן גם self-hosted .
הכנו סיכום קצר מה התחדש במוצר (נקודות עיקריות, בקצרה):

1. שיפורים בניתוב האוטומטי ("Auto Router") למודלים –
   לחסכון כספי בטוקנים (וזמן) –
   ע"פ מספר קריטריונים, וזה ניתן גם לקינפוג.
   כתבנו כאן מאמר הסבר בעברית
   
2. תמיכה במודלים חדשים (מהדורה 1.95)
   נוספה תמיכה מלאה (Day‑0) ב־Claude Opus 5,
   עם אפשרות להריץ אותו דרך Anthropic, Amazon Bedrock, Google Vertex AI ו־Azure AI Foundry, לצד תמיכה נוספת ב־Gemini 3.6 Flash ו־Gemini 3.5 Flash Lite
   
3.  מנגנון הרשאות MCP מפורט יותר:
   ה־object_permission של משתמש פנימי הופך לרמת entitlement אמיתית
   המסווגת לפי מפתח, צוות, Agent או ארגון, ונאכפת גם ב־tools/list וגם ב־tools/call, יחד עם מצב guardrail חדש post_mcp_call שיכול לסנן או לחסום תוצאות של כלי MCP אחרי הריצה.  
   
4. שיפורי ביצועים ו־Rust Gateway :
   Anthropic /v1/messages מועבר כעת דרך ה־Rust axum gateway, עם תמיכה ב־WebSockets ל־Responses API של OpenAI ושיפורי ביצועים נוספים ב־litellm‑core (כולל טרנסקריפצית אודיו מ־Bedrock).
   
5. שיפורי אבטחה ו־Admin UI
   נוספה תמיכה ב־SAML 2.0 SSO ל־Admin UI,
    וכ־20 נתיבי דשבורד עברו הסבה ל־shadcn ו־DataTable משותפים, לצד תיקוני תקציב (budget reset) וביטול אכיפת תקציבים
   
6. תיקוני באגים ועוד

ועוד…

שאלות לגבי המוצר (גם טכניות וגם עסקיות)? 

אפשר לפנות אלינו: litellm@almtoolbox.com או טלפונית

מידע נוסף באתר היצרן כאן.

נשמח גם לעזור בשדרוג וקינפוג הסביבה, וכן חיבור שלה לכלים נוספים, לתהליכי עבודה ארגוניים, להוזלת עלויות טוקנים ועוד (אנחנו הנציגים הרשמיים של היצרן)

מוזמנים ומוזמנות גם לאתר התוכן שלנו שהקמנו סביב המוצר:
https://almtoolbox.com/litellm