LiteLLM and LiteLLM Enterprise

LiteLLM הוא פתרון AI Gateway ופרוקסי, מבוסס קוד פתוח, שמפשט את הגישה למודלי AI, מנגנוני גיבוי ומעקב אחר הוצאות עבור יותר מ־100 מודלי LLM, והכול באמצעות פורמט ה־API המוכר של OpenAI.
פתרון זה מספק לצוותים נקודת-קצה אחידה, ובמקביל מנתב את הבקשות מאחורי הקלעים לספקים כגון OpenAI,‏ Anthropic,‏ Bedrock,‏ Vertex AI, מודלים מקומיים ומודלים נוספים.
LiteLLM Enterprise מרחיב את היכולות הבסיסיות, ומוסיף את אמצעי הבקרה הנדרשים לארגונים: SSO ו־SCIM, אימות המבוסס על OIDC/JWT, לוגים (auditing), ניהול ומידור ע"פ צוותים וארגונים, מנגנוני Guardrails לפי מפתחים או צוות, ניהול סודות (secrets), החלפת מפתחות (key rotation) ותמיכה מובנית 24/7 עם הסכמי SLA.
הפתרון זמין לפריסה מאובטחת בניהול עצמי (אפשרי גם מנוהל דרכנו), ומתאים במיוחד לארגונים המעוניינים לספק גישה למודלי LLM למפתחים ולפרויקטים רבים, כולל בסביבות Self-hosted, ענן פרטי וסביבות מבודדות (Air-gapped).

LiteLLM מספק את הדברים הבאים:

AI Gateway תואם OpenAI עבור יותר מ־100 מודלי LLM ונקודות קצה של AI, המספק API אחיד עבור מודלים בענן ובסביבה מקומית.
נקודת-קצה אחידה עם מפתחות וירטואליים, צוותים, תקציבים, הגבלת קצב ואיזון עומסים בין ספקים מרובים.
מעקב אחר הוצאות ואכיפת תקציבים, המאפשרים לנטר שימוש, לשלוט בעלויות ולהגדיר מגבלות לפי מפתחים בודדים, צוות או פרויקט.
מנגנוני Guardrails, רשימות מודלים מורשים, ניהול פרומפטים ובקרות מדיניות מרכזיות, לשמירה על שימוש תואם ועקבי ב־AI.
רישום בקשות ותשובות, כולל שמירת לוגים ב־S3 או באחסון אובייקטים, ואינטגרציה עם כלי Observability כגון OTEL, Langfuse, Arize Phoenix ו־ LangSmith
אימות המבוסס על JWT/OIDC/SAML/SSO והקצאת משתמשים באמצעות SCIM (במהדורת Enterprise), המאפשרים בקרת גישה המתחשבת בזהות המשתמש.
בקרת גישה מבוססת תפקידים, הכוללת מנהלי צוותים וארגונים, מנגנוני Guardrails לפי מפתח ויומני ביקורת מפורטים (במהדורת Enterprise).
אפשרויות לפריסה בסביבה מקומית, בסביבה מבודדת (Air-Gapped), באשכולות Kubernetes, במכונות וירטואליות או בחשבונות ענן של הארגון.
אינטגרציה הדוקה עם תהליכי עבודה מבוססי Git (Git, GitHub, GitLab, Bitbucket ו־Azure DevOps) לצורך סקירת קוד בסיוע AI, ביצוע Commit, ניתוח Merge Requests, אוטומציות CI, יצירת Release Notes ותיעוד.
דרך מעשית עבור צוותי DevOps, Platform ו־Architecture לתקנן את השימוש ב־AI בין יישומים, צוותים וסביבות רבות באמצעות שער מרכזי אחד.
אוטומציה ואינטגרציה לכלים נוספים אפשרית בעזרת API ו- Webhooks
אפשרות לפתרון High Availability אפליקטיבי

הדגמה טכנית של LiteLLM

הוספנו כתוביות בעברית ואנגלית לנוחיותכם

היתרונות ב- LiteLLM

קוד פתוח ואינו תלוי בספק: אתם מקבלים שליטה מלאה על ה- Gateway ונמנעים מתלות בספק LLM או בספק ענן יחיד.
שער אחד לכל המודלים : המפתחים משתמשים ב־API יחיד בפורמט OpenAI, בעוד LiteLLM מנתב את הבקשות ליותר מ־100 ספקים ונקודות קצה.
ניהול מרכזי של הוצאות ו- Governance : תקציבים, מעקב עלויות, הגבלת קצב, מנגנוני Guardrails ויומני ביקורת מנוהלים במקום מרכזי אחד, במקום להיות מפוזרים בין סקריפטים ושירותים.
אמצעי אבטחה מוכנים לארגונים: SSO, SCIM, JWT, ניהול סודות, החלפת מפתחות ותמיכה מובנית עם הסכמי SLA תואמים לצורכי אבטחה וציות ארגוניים.
תכנון עבור צוותי Platform ו־ DevOps : מערכת LiteLLM מספקת דרך עקבית לצרף צוותים, להאציל הרשאות ניהול, לנטר תעבורת Production ולאכוף מדיניות בקנה מידה רחב.
משלים אידיאלי ל־CI/CD מבוסס Git : ממוקם בין GitLab או GitHub לבין המודלים, ומאפשר סקירת קוד, תיעוד, בדיקות אבטחה ואוטומציה של תהליכי Pipeline בסיוע AI, ללא שינוי בתהליכי העבודה של המפתחים.
אפשרויות פריסה גמישות: ניתן להריץ את LiteLLM בסביבה מקומית, בענן פרטי או בסביבות מבודדות, תוך שילוב עם מערכות Logging ו־Observability מודרניות.
שליטה מלאה על ההתקנה הואיל והמערכת ניתנת להתקנת on-premise פנים ארגונית (ומאחורי firewall), כמו גם התקנה בנענן הציבורי או בכל ענן פרטי
אינטגרציות מובנות עם כלים מובילים רבים: ניתן לחבר את המערכת בקלות לכלים משלימים, כגון JIRA, Jenkins, GitLab, CI/CD, Docker, Kubernetes, Visual Studio, VS Code, Eclipse, IntelliJ ועוד

איך נוכל לעזור לך?

חברת ALM Toolbox היא המפיצה הרשמית של LiteLLM בישראל (ובמדינות נוספות), ומתמחה גם במתן שירותים נוספים ל- LiteLLM , וביניהם:

בחינת LiteLLM OSS לעומת LiteLLM Enterprise ותכנון ארכיטקטורת AI Gateway המתאימה לסביבת GitLab, GitHub או לסביבה היברידית.
תכנון והטמעה של LiteLLM בסביבות מקומיות, מבודדות או בענן פרטי - AWS, GCP או Azure - כולל זמינות גבוהה והקשחת Production.
אופטימיזצית שימוש במודלי AI וסוכני AI למטרת חסכון כספי משמעותי.
שילוב LiteLLM בתהליכי הפיתוח ובתהליכי DevOps ו־CI/CD, כולל Git, GitLab, GitHub, Bitbucket ו־Azure DevOps.
מתן ייעוץ ותמיכה מעשיים ומקומיים מצוות ה־DevOps וה־AI שלנו, כולל הכוונה בניהול פרומפטים, מנגנוני Guardrails, אופטימיזציית עלויות ושיטות תפעול מומלצות.
עזרה בהתאמה בין צרכי הארגון לבין הרישוי המתאים ביותר ואספקת רישיונות Subscription, תמיכה עם הסכמי SLA ושירותי LiteLLM Gateway מנוהלים - “LiteLLM as a Service” - בענן המועדף עליכם.
סיוע בהגירה מממשקי API או ערכות SDK ייעודיים לספקים שונים לשער LiteLLM , תוך השבתה מינימלית ליישומים הקיימים.
הדרכות . למידע נוסף לחצו כאן.
סיוע בהתאמה בין תהליכי הפיתוח בארגון לבין התהליכים המוצעים ב- LiteLLM
תכנון מערכת LiteLLM והטמעתה בשרתי הארגון, בענן פרטי או ציבורי
שירותים מנוהלים (managed services) ומרכז תמיכה - כולל אפשרות ל- SLA - גם לתקופות קצרות.
מיגרציה מכלים דומים

ניתן לפנות אלינו במייל או טלפונית (072-2405222) ולקבל רשיון התנסות ל- LiteLLM

חדשות ומאמרים

להגעה לכל העדכונים על LiteLLM בבלוג שלנו בעברית - לחצו כאן

פיצ'רים ומחירים - טבלת השוואה

ניתן לקבל מאיתנו טבלה השוואתית מלאה ועדכנית בפורמט אקסל (עם אפשרות לפילטרים, מיון וחיפוש) - פנו אלינו במייל

Feature	OSS	Enterprise Get a Quote
Unified OpenAI-compatible API endpoint (/chat/completions, /completions, /embeddings, etc.)
LLM translation (input/output normalization across providers)
Pass-through endpoints (no translation, direct provider calls)
Multi-provider support (OpenAI, Anthropic, Bedrock, Vertex, etc.)
Streaming support for model responses
Virtual keys authentication
Unified OpenAI-compatible API endpoint (`/chat/completions`, `/completions`, `/embeddings`, etc.)
Custom auth integration	-
OIDC / JWT authentication	-
Virtual key rotation	-
Write key to secret manager integration	-
Basic logging (LLM observability tools: Langfuse, LangSmith, etc.)
Datadog, S3, GCS, Azure Data Lake logging	-
Key/team-based logging	-
Alerting via Slack/Discord/Teams/Email/Webhook
PagerDuty alerting	-
Prometheus metrics	-
Create/manage users
Create/manage teams
Create/manage organizations & assign org admins	-
Assign team admins	-
Restrict models by key/user/team
Model access groups	-
Team-only models	-
Spend tracking by model/key/user/team
Basic budgets and rate limits
Advanced budgets and rate limits: tiers & temporary increases	-
Pricing and available licenses	Free	Subscription Get a Quote

Need help deciding? Email us or use the chatter below

הדרכות LiteLLM

אנו מספקים מגוון הדרכות LiteLLM לקבוצות פרטיות (פנים-ארגוני) וכקורסים ציבוריים.
הקורסים שאנו מציעים:

קורס LiteLLM Admin למנהלי מערכת ואנשי DevOps / AI Ops / MLOps (יום אחד)

לפרטים נוספים ולסילבוס פנו אלינו: training@almtoolbox.com

המלצות על LiteLLM

LiteLLM gives NVIDIA engineers a single, consistent way to access more than 100 AI model endpoints across cloud providers, open source deployments, and internal NVIDIA services"

Ajay Dogra, Product, Nvidia

LiteLLM has let my team provide the latest LLM models to our users usually within a day of them being released. Without LiteLLM this would be hours of work each time a new model is announced. It means we don't have to transform inputs and outputs across providers and has saved us months of work."

David Leen, Staff Software Engineer, Netflix