הדגמת שימוש ב- LiteLLM והדגמת הדשבורד של המוצר
במאמר זה נדגים שימוש ב- LiteLLM כפי שאנו עושים בחברה שלנו לצרכי פיתוחים פנימיים שלנו,
וכן נדגים כמה מסכים מהדשבורד הניהולי של המוצר.
יתכן ובהמשך גם נוציא וידאו שמדגים את הנושא.
ניתן להקליק על כל תמונה וכך להגדיל אותה.
במסך זה רואים models ו- endpoints. כאן ניתן לראות את כל המודלים שהוספנו שיעבדו דרך LiteLLM, וכן להוסיף מודלים – ועבור כל אחד להגדיר צורת עבודה, להגביל תקציב ועוד.
במסך זה רואים שחיברנו מודל gemma4 (מודל מקומי).
מתוך המסך הנ"ל ניתן להכנס יותר לעומק ולהגדיר הגדרות נוספות, כפי שניתן לראות להלן:
ניתן לראות (בדוגמא לעיל) שיש חיבור ל- endpoint מקומיים (אנו עושים זאת באמצעות vLLM שרץ מקומי מעל Kubernetes והוא חושף endpoints שהם OpenAI compatible ).
ניתן לראות זאת בשדה API Base (ה- URL המלא שלו מוסתר כמובן).
הוספת מודל
במסך הבא ניתן לראות הוספת מודלים (בדוגמא זו אנו עומדים לבחור את Anthropic):
הוספת מפתחות וירטואלים (Virtual Keys)
זהו שימוש פופולרי ב- LiteLLM שגם משפר את אבטחת המידע. במסך זה ניתן להגדיר מפתחות וירטואלים, שמסתירים את המפתחות האמיתיים.
הוספת Guardrails
המסך הבא מדגים אפשרויות הוספה של guardrails :
הוספת Policies
המסך הבא מדגים אפשרויות הוספה של Policies:
הוספת MCP Servers
המסך הבא מדגים אפשרויות הוספה של MCP Servers:
הוספת Tools
המסך הבא מדגים אפשרויות הוספה של כלים:
בקרוב: נוסיף מסכים נוספים וכן הדגמת חיבור של LiteLLM יחד עם LangFuse.
