אני שמחה לעדכן שיצאה אתמול מהדורה חדשה למוצר (1.96),וכן יצאו מספר מהדורות בשבועות האחרונים (1.95 ו- 1.94) . בשבועות האחרונים יצא לנו לעזור ללקוחות רבים בתכנון פריסה של המוצר,בהדרכות על המוצר, בקינפוג המוצר מול מערכות ארגוניותלצורך חסכון כספי בטוקנים ושיפור האבטחה והפרטיות סביב AI,הקשחת הסביבה של המוצר, תכנון High Availability ועוד! אנו נשמח לעזור במוצר […]
Read more »כל הפוסטים בקטגוריה ‘AI Gateway’
מה זה Auto Router ב‑LiteLLM ואיך הוא חוסך זמן וכסף?
את המאמר הבא כתבתי לאור עדכונים ב- LiteLLM (אותם אנו מייצגים באופן רשמי),ולאור שאלות שנשאלנו בנושא זה לאחרונה ע"י מספר לקוחות אותן אנו מלווים בהטמעה של המערכת. Auto Router של LiteLLM הוא מנגנון ניתוב (routing) חכם בתוך ה‑AI Gateway , המחליט אוטומטית לאיזה מודל LLM להפנות כל בקשה, לפי סוג המשימה, המורכבות והמודלים הזמינים, במקום […]
Read more »
