{"id":13836,"date":"2026-06-21T13:16:00","date_gmt":"2026-06-21T10:16:00","guid":{"rendered":"https:\/\/www.almtoolbox.com\/blog_he\/?p=13836"},"modified":"2026-06-24T05:42:49","modified_gmt":"2026-06-24T02:42:49","slug":"litellm-ai-gateway-cost-tracking-guardrails-budgets","status":"publish","type":"post","link":"https:\/\/www.almtoolbox.com\/blog_he\/litellm-ai-gateway-cost-tracking-guardrails-budgets\/","title":{"rendered":"LiteLLM AI Gateway: \u05de\u05e2\u05e7\u05d1 \u05e2\u05dc\u05d5\u05d9\u05d5\u05ea, Guardrails, \u05ea\u05e7\u05e6\u05d9\u05d1\u05d9\u05dd \u05d5\u05e2\u05d5\u05d3 \u05dc\u05e0\u05d9\u05d4\u05d5\u05dc 100+ \u05de\u05d5\u05d3\u05dc\u05d9 LLM"},"content":{"rendered":"\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-85\">\u05d1\u05de\u05d0\u05de\u05e8 \u05d6\u05d4 \u05d0\u05e0\u05d5 \u05e6\u05d5\u05dc\u05dc\u05d9\u05dd \u05dc\u05e2\u05d5\u05de\u05e7 \u05d5\u05de\u05e1\u05d1\u05d9\u05e8\u05d9\u05dd \u05d0\u05ea \u05d4\u05d9\u05db\u05d5\u05dc\u05d5\u05ea \u05d4\u05de\u05e8\u05db\u05d6\u05d9\u05d5\u05ea \u05e9\u05dc \u05d4-LiteLLM AI Gateway: <br>\u05de\u05e2\u05e7\u05d1 \u05e2\u05dc\u05d5\u05d9\u05d5\u05ea (<strong>Cost Tracking<\/strong>), <strong>Batches API<\/strong>, <strong>Guardrails<\/strong>, \u05d2\u05d9\u05e9\u05d4 \u05dc\u05de\u05d5\u05d3\u05dc\u05d9\u05dd, \u05ea\u05e7\u05e6\u05d9\u05d1\u05d9\u05dd,<br> <strong>LLM Observability<\/strong>, \u05d4\u05d2\u05d1\u05dc\u05ea \u05e7\u05e6\u05d1 (<strong>Rate Limiting<\/strong>), \u05e0\u05d9\u05d4\u05d5\u05dc <strong>Prompts<\/strong>, \u05e8\u05d9\u05e9\u05d5\u05dd (<strong>Logging<\/strong>) \u05dc-S3 \u05d5\u05e0\u05e7\u05d5\u05d3\u05d5\u05ea \u05e7\u05e6\u05d4 \u05e2\u05d5\u05d1\u05e8\u05d5\u05ea (<strong>Pass-Through Endpoints<\/strong>) &#8211; \u05d5\u05de\u05d3\u05d5\u05e2 \u05e6\u05d5\u05d5\u05ea\u05d9 <strong>DevOps<\/strong> \/ <strong>Platform<\/strong> \/ <strong>Architecture<\/strong> \u05de\u05d9\u05d9\u05d7\u05e1\u05d9\u05dd \u05dc\u05d4\u05df \u05d7\u05e9\u05d9\u05d1\u05d5\u05ea.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\u05db\u05e4\u05d9 \u05e9\u05d4\u05d5\u05d3\u05e2\u05e0\u05d5 \u05dc\u05d0\u05d7\u05e8\u05d5\u05e0\u05d4, \u05d0\u05e0\u05d5 (ALM Toolbox) \u05d4\u05de\u05d9\u05d9\u05e6\u05d2\u05d9\u05dd \u05d4\u05e8\u05e9\u05de\u05d9\u05d9\u05dd \u05e9\u05dc LiteLLM \u05d1\u05d9\u05e9\u05e8\u05d0\u05dc (\u05d5\u05d1\u05de\u05d3\u05d9\u05e0\u05d5\u05ea \u05e0\u05d5\u05e1\u05e4\u05d5\u05ea) \u05d5\u05e2\u05d5\u05d6\u05e8\u05d9\u05dd \u05dc\u05dc\u05e7\u05d5\u05d7\u05d5\u05ea \u05d1\u05d1\u05d7\u05d9\u05e8\u05ea \u05d4\u05e4\u05ea\u05e8\u05d5\u05df \u05d4\u05de\u05ea\u05d0\u05d9\u05dd \u05e2\u05d1\u05d5\u05e8\u05dd \u05dc- <strong>AI Gateway<\/strong>, \u05d1\u05d4\u05d8\u05de\u05e2\u05ea\u05d5 \u05d5\u05e7\u05e0\u05d9\u05d9\u05ea \u05e8\u05d9\u05e9\u05d5\u05d9 \u05de\u05ea\u05d0\u05d9\u05dd.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-86\">LiteLLM \u05d9\u05d5\u05e9\u05d1\u05ea \u05d1\u05d7\u05d6\u05d9\u05ea \u05e9\u05dc \u05dc\u05de\u05e2\u05dc\u05d4 \u05de-100 \u05e1\u05e4\u05e7\u05d9 <strong>LLM<\/strong> (\u05db\u05d5\u05dc\u05dc OpenAI, Claude\/Anthropic, Gemini, Amazon Bedrock \u05d5\u05de\u05d5\u05d3\u05dc\u05d9\u05dd \u05de\u05e7\u05d5\u05de\u05d9\u05d9\u05dd\/Ollama)\u05d5\u05d7\u05d5\u05e9\u05e4\u05ea API \u05d0\u05d7\u05d9\u05d3, \u05ea\u05d5\u05d0\u05dd OpenAI (\u200f<strong>OpenAI-compatible API<\/strong>) \u05d1\u05de\u05e7\u05d5\u05dd \u05de\u05e1\u05e4\u05e8 \u05e8\u05d1 \u05e9\u05dc \u05e2\u05e8\u05db\u05d5\u05ea \u05e4\u05d9\u05ea\u05d5\u05d7 (<strong>SDKs<\/strong>) \u05e1\u05e4\u05e6\u05d9\u05e4\u05d9\u05d5\u05ea \u05dc\u05db\u05dc \u05e1\u05e4\u05e7.<\/p>\n\n\n\n<figure class=\"wp-block-image aligncenter size-large\"><img decoding=\"async\" src=\"https:\/\/www.almtoolbox.com\/blog_he\/wp-content\/uploads\/2026\/05\/litellm-diagram.jpg\" alt=\"litellm overview\"\/><\/figure>\n\n\n\n<div style=\"height:38px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n\n\n\n<h2 class=\"wp-block-heading\">\u05de\u05d3\u05d5\u05e2 \u05d0\u05ea\u05dd \u05e6\u05e8\u05d9\u05db\u05d9\u05dd \u05db\u05e0\u05e8\u05d0\u05d4 AI Gateway \u05d1\u05d4\u05e7\u05d3\u05dd?<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-87\">\u05d1\u05d0\u05e8\u05d2\u05d5\u05e0\u05d9\u05dd \u05e8\u05d1\u05d9\u05dd \u05db\u05dc \u05e6\u05d5\u05d5\u05ea \u05de\u05ea\u05d7\u05d9\u05dc \u05dc\u05d4\u05e9\u05ea\u05de\u05e9 \u05d1-<strong>GenAI<\/strong> \u05d1\u05db\u05d5\u05d7\u05d5\u05ea \u05e2\u05e6\u05de\u05d5: \u05e1\u05e4\u05e7\u05d9\u05dd \u05de\u05e8\u05d5\u05d1\u05d9\u05dd, \u05de\u05e4\u05ea\u05d7\u05d5\u05ea <strong>API<\/strong> \u05de\u05e8\u05d5\u05d1\u05d9\u05dd, \u05dc\u05dc\u05d0 \u05e0\u05e8\u05d0\u05d5\u05ea \u05de\u05e8\u05db\u05d6\u05d9\u05ea \u05dc\u05d2\u05d1\u05d9 \u05e2\u05dc\u05d5\u05d9\u05d5\u05ea, \u05d5\u05db\u05de\u05e2\u05d8 \u05dc\u05dc\u05d0 \u05de\u05e9\u05d9\u05dc\u05d5\u05ea (<strong>Governance<\/strong>) \u05e2\u05dc \u05de\u05d4 \u05e9\u05e0\u05e9\u05dc\u05d7 \u05dc\u05d0\u05d9\u05d6\u05d4 \u05de\u05d5\u05d3\u05dc.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-87\">\u05d4\u05d3\u05d1\u05e8 \u05d4\u05d5\u05e4\u05da \u05d1\u05de\u05d4\u05e8\u05d4 \u05dc\u05d1\u05e2\u05d9\u05d4: \u05de\u05e0\u05d4\u05dc\u05d9 \u05db\u05e1\u05e4\u05d9\u05dd (<strong>CFOs<\/strong>) \u05de\u05ea\u05d7\u05d9\u05dc\u05d9\u05dd \u05dc\u05e9\u05d0\u05d5\u05dc &quot;\u05de\u05d9 \u05d4\u05d5\u05e6\u05d9\u05d0 \u05d0\u05ea \u05d4\u05db\u05e1\u05e3 \u05d4\u05d6\u05d4 \u05e2\u05dc <strong>LLMs<\/strong>?&quot;, <br>\u05e6\u05d5\u05d5\u05ea\u05d9 \u05d0\u05d1\u05d8\u05d7\u05d4 \u05de\u05d5\u05d3\u05d0\u05d2\u05d9\u05dd \u05de\u05e9\u05d9\u05ea\u05d5\u05e3 \u05e0\u05ea\u05d5\u05e0\u05d9\u05dd \u05d5-<strong>Tokens<\/strong>, \u05d5\u05e6\u05d5\u05d5\u05ea\u05d9 <strong>DevOps<\/strong> \u05e6\u05e8\u05d9\u05db\u05d9\u05dd \u05d3\u05e8\u05da \u05dc\u05e0\u05d8\u05e8 \u05d5\u05dc\u05d4\u05d2\u05d1\u05d9\u05dc \u05d0\u05ea \u05e7\u05e6\u05d1 \u05d4\u05ea\u05e2\u05d1\u05d5\u05e8\u05d4.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-88\">LiteLLM \u05e4\u05d5\u05ea\u05e8 \u05d6\u05d0\u05ea \u05e2\u05dc \u05d9\u05d3\u05d9 \u05ea\u05e4\u05e7\u05d5\u05d3 \u05db-<strong>LLM Gateway \u05de\u05e8\u05db\u05d6\u05d9<\/strong>: \u05db\u05dc \u05d4\u05d0\u05e4\u05dc\u05d9\u05e7\u05e6\u05d9\u05d5\u05ea \u05e7\u05d5\u05e8\u05d0\u05d5\u05ea \u05dc-<strong>Proxy<\/strong> \u05e9\u05dc LiteLLM (\u05d1\u05d0\u05de\u05e6\u05e2\u05d5\u05ea \u05e4\u05d5\u05e8\u05de\u05d8 OpenAI),<br>\u05d5\u05d4-Gateway \u05dc\u05d0\u05d7\u05e8 \u05de\u05db\u05df \u05de\u05e0\u05ea\u05d1 \u05d0\u05ea \u05d4\u05d1\u05e7\u05e9\u05d5\u05ea \u05dc\u05e1\u05e4\u05e7 \u05d4\u05e0\u05db\u05d5\u05df, \u05de\u05d9\u05d9\u05e9\u05dd <strong>Guardrails<\/strong>, \u05de\u05ea\u05e2\u05d3 \u05d4\u05db\u05dc, \u05d5\u05d0\u05d5\u05db\u05e3 \u05de\u05d2\u05d1\u05dc\u05d5\u05ea \u05e2\u05dc\u05d5\u05d9\u05d5\u05ea \u05d5\u05e7\u05e6\u05d1. <\/p>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-88\">\u05d4\u05de\u05e9\u05de\u05e2\u05d5\u05ea \u05d4\u05d9\u05d0 \u05e9\u05d0\u05ea\u05dd \u05d9\u05db\u05d5\u05dc\u05d9\u05dd \u05dc\u05d9\u05e6\u05d5\u05e8 \u05e1\u05d8\u05e0\u05d3\u05e8\u05d8\u05d9\u05d6\u05e6\u05d9\u05d4 \u05d1\u05d0\u05e8\u05d2\u05d5\u05df \u05e9\u05dc\u05db\u05dd \u05e2\u05dc \u05db\u05ea\u05d5\u05d1\u05ea \u05db\u05de\u05d5 <code>https:\/\/your-litellm-gateway\/<\/code> \u05d1\u05ea\u05d5\u05e8 \u05d4-<strong>Endpoint<\/strong> \u05d4\u05d9\u05d7\u05d9\u05d3 \u05dc\u05db\u05dc \u05e9\u05d9\u05de\u05d5\u05e9 \u05d1-LLM, \u05d4\u05df \u05d1-<strong>Cloud<\/strong> \u05d5\u05d4\u05df \u05d1\u05e1\u05d1\u05d9\u05d1\u05d5\u05ea <strong>Self-Hosted<\/strong> (\u05d4\u05ea\u05e7\u05e0\u05d5\u05ea \u05de\u05e7\u05d5\u05de\u05d9\u05d5\u05ea).<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">\u05d1\u05e7\u05e6\u05e8\u05d4: \u05de\u05d4 \u05d6\u05d4 LiteLLM ?<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-89\">LiteLLM \u05d4\u05d5\u05d0 <strong>AI Gateway \u05d1\u05e7\u05d5\u05d3 \u05e4\u05ea\u05d5\u05d7 (LLM Proxy)<\/strong> \u05d4\u05d7\u05d5\u05e9\u05e3 API \u05ea\u05d5\u05d0\u05dd OpenAI \u05d1\u05e2\u05d5\u05d3\u05d5 \u05de\u05ea\u05d7\u05d1\u05e8 \u05de\u05d0\u05d7\u05d5\u05e8\u05d9 \u05d4\u05e7\u05dc\u05e2\u05d9\u05dd \u05dc\u05e1\u05e4\u05e7\u05d9\u05dd \u05d5\u05dc\u05e1\u05d5\u05d2\u05d9 \u05de\u05d5\u05d3\u05dc\u05d9\u05dd \u05e9\u05d5\u05e0\u05d9\u05dd \u05e9\u05dc LLM. \u05e0\u05d9\u05ea\u05df \u05dc\u05e4\u05e8\u05d5\u05e1 \u05d0\u05d5\u05ea\u05d5 \u05db\u05e7\u05d5\u05e0\u05d8\u05d9\u05d9\u05e0\u05e8 (<strong>Container<\/strong>) \u05d0\u05d5 \u05db\u05e9\u05d9\u05e8\u05d5\u05ea (\u05d1-<strong>On-Prem<\/strong>, \u05d1-<strong>Private Cloud<\/strong> \u05e9\u05dc\u05db\u05dd \u05d0\u05d5 \u05db\u05e9\u05d9\u05e8\u05d5\u05ea \u05de\u05e0\u05d5\u05d4\u05dc), \u05dc\u05d4\u05d2\u05d3\u05d9\u05e8 \u05db\u05dc\u05dc\u05d9 \u05e0\u05d9\u05ea\u05d5\u05d1 (<strong>Routing Rules<\/strong>) \u05d1\u05e7\u05d5\u05d1\u05e5 \u05d4\u05d2\u05d3\u05e8\u05d5\u05ea, \u05d5\u05dc\u05d0\u05d7\u05e8 \u05de\u05db\u05df \u05dc\u05e1\u05e4\u05e7 \u05dc\u05e6\u05d5\u05d5\u05ea\u05d9\u05dd \u05e9\u05dc\u05db\u05dd \u05de\u05e4\u05ea\u05d7\u05d5\u05ea API \u05d5\u05d9\u05e8\u05d8\u05d5\u05d0\u05dc\u05d9\u05d9\u05dd (<strong>Virtual API Keys<\/strong>) \u05d4\u05de\u05e0\u05d5\u05ea\u05e7\u05d9\u05dd \u05de\u05de\u05e4\u05ea\u05d7\u05d5\u05ea \u05d4\u05e1\u05e4\u05e7 \u05d4\u05d2\u05d5\u05dc\u05de\u05d9\u05d9\u05dd.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-90\">\u05de\u05db\u05d9\u05d5\u05d5\u05df \u05e9\u05db\u05dc \u05d4\u05ea\u05e2\u05d1\u05d5\u05e8\u05d4 \u05e2\u05d5\u05d1\u05e8\u05ea \u05d3\u05e8\u05da LiteLLM, \u05d0\u05ea\u05dd \u05de\u05e7\u05d1\u05dc\u05d9\u05dd \u05d1\u05d0\u05d5\u05e4\u05df \u05d0\u05d5\u05d8\u05d5\u05de\u05d8\u05d9 \u05de\u05e2\u05e7\u05d1 \u05e2\u05dc\u05d5\u05d9\u05d5\u05ea \u05de\u05e8\u05db\u05d6\u05d9, \u05ea\u05e7\u05e6\u05d9\u05d1\u05d9\u05dd,<br> <strong>Rate Limits<\/strong>, <strong>Observability<\/strong>, <strong>Audit Logs<\/strong> , <strong>Guardrails<\/strong> \u05d5\u05e0\u05d9\u05d4\u05d5\u05dc <strong>Prompts<\/strong> &#8211; \u05de\u05d1\u05dc\u05d9 \u05dc\u05e9\u05e0\u05d5\u05ea \u05d0\u05ea \u05e7\u05d5\u05d3 \u05d4\u05d0\u05e4\u05dc\u05d9\u05e7\u05e6\u05d9\u05d5\u05ea \u05e9\u05dc\u05db\u05dd \u05de\u05e2\u05d1\u05e8 \u05dc-<strong>Base URL<\/strong> \u05d5\u05d4\u05de\u05e4\u05ea\u05d7.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-90\">\u05de\u05e0\u05e7\u05d5\u05d3\u05ea \u05d4\u05de\u05d1\u05d8 \u05e9\u05dc\u05e0\u05d5, \u05d6\u05d4 \u05d3\u05d5\u05de\u05d4 \u05dc\u05e4\u05e2\u05d5\u05dc\u05d4 \u05e9\u05dc <strong>API Gateway<\/strong> \u05d0\u05d5 <strong>Reverse-Proxy<\/strong> \u05e2\u05d1\u05d5\u05e8 \u05de\u05d9\u05e7\u05e8\u05d5-\u05e9\u05d9\u05e8\u05d5\u05ea\u05d9\u05dd (<strong>Microservices<\/strong>), <br>\u05d0\u05da \u05de\u05d5\u05ea\u05d0\u05dd \u05d1\u05de\u05d9\u05d5\u05d7\u05d3 \u05dc\u05e6\u05e8\u05db\u05d9\u05dd \u05d4\u05d9\u05d9\u05d7\u05d5\u05d3\u05d9\u05d9\u05dd \u05e9\u05dc <strong>GenAI<\/strong> \u05d5-<strong>LLMs<\/strong>.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">1) \u05de\u05e2\u05e7\u05d1 \u05e2\u05dc\u05d5\u05d9\u05d5\u05ea (Cost Tracking): \u05dc\u05e8\u05d0\u05d5\u05ea \u05de\u05d9 \u05de\u05d5\u05e6\u05d9\u05d0 \u05db\u05de\u05d4<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-91\">\u05d0\u05d7\u05d3 \u05d4\u05d0\u05ea\u05d2\u05e8\u05d9\u05dd \u05d4\u05e8\u05d0\u05e9\u05d5\u05e0\u05d9\u05dd \u05e2\u05dd <strong>GenAI<\/strong> \u05d4\u05d5\u05d0 \u05d4\u05d1\u05e0\u05ea \u05e2\u05dc\u05d5\u05d9\u05d5\u05ea \u05d4-LLM \u05dc\u05e4\u05d9 \u05e6\u05d5\u05d5\u05ea, \u05e4\u05e8\u05d5\u05d9\u05e7\u05d8 \u05d5\u05e1\u05d1\u05d9\u05d1\u05d4<sup><\/sup>. LiteLLM \u05de\u05e9\u05de\u05e9 \u05db-Proxy \u05dc\u05db\u05dc \u05d1\u05e7\u05e9\u05d4 \u05d5\u05db\u05d5\u05ea\u05d1 \u05de\u05d9\u05d3\u05e2 \u05de\u05e4\u05d5\u05e8\u05d8 \u05e2\u05dc \u05e2\u05dc\u05d5\u05d9\u05d5\u05ea \u05d5\u05e9\u05d9\u05de\u05d5\u05e9 \u05d1-Tokens \u05dc\u05ea\u05d5\u05da \u05de\u05e1\u05d3 \u05e0\u05ea\u05d5\u05e0\u05d9\u05dd \u05e9\u05dc <strong>PostgreSQL<\/strong>, \u05db\u05d5\u05dc\u05dc \u05e1\u05e4\u05e7, \u05de\u05d5\u05d3\u05dc, \u05e1\u05e4\u05d9\u05e8\u05ea Tokens, \u05e2\u05dc\u05d5\u05ea \u05de\u05d7\u05d5\u05e9\u05d1\u05ea, \u05de\u05e4\u05ea\u05d7, \u05de\u05e9\u05ea\u05de\u05e9, \u05e6\u05d5\u05d5\u05ea \u05d5\u05d7\u05d5\u05ea\u05de\u05d5\u05ea \u05d6\u05de\u05df (<strong>Timestamps<\/strong>)<sup><\/sup>.<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>\u05e2\u05e7\u05d1\u05d5 \u05d0\u05d7\u05e8 \u05d4\u05d4\u05d5\u05e6\u05d0\u05d5\u05ea \u05dc\u05e4\u05d9 \u05de\u05e4\u05ea\u05d7 \/ \u05de\u05e9\u05ea\u05de\u05e9 \/ \u05e6\u05d5\u05d5\u05ea \/ \u05d0\u05e8\u05d2\u05d5\u05df \u05dc\u05d0\u05d5\u05e8\u05da \u05d6\u05de\u05df.<\/li>\n\n\n\n<li>\u05e8\u05d0\u05d5 \u05db\u05de\u05d4 \u05db\u05dc \u05de\u05d5\u05d3\u05dc \u05d5\u05e1\u05e4\u05e7 \u05d1\u05d0\u05de\u05ea \u05e2\u05d5\u05dc\u05d9\u05dd \u05dc\u05db\u05dd \u05d1\u05e2\u05d5\u05de\u05e1\u05d9 \u05e2\u05d1\u05d5\u05d3\u05d4 (<strong>Workloads<\/strong>) \u05d0\u05de\u05d9\u05ea\u05d9\u05d9\u05dd.<\/li>\n\n\n\n<li>\u05d9\u05d9\u05e6\u05d0\u05d5 \u05e0\u05ea\u05d5\u05e0\u05d9 \u05e2\u05dc\u05d5\u05d9\u05d5\u05ea \u05dc\u05db\u05dc\u05d9\u05dd \u05e9\u05dc <strong>BI<\/strong> \u05d0\u05d5 \u05dc\u05d3\u05d5\u05d7\u05d5\u05ea <strong>Chargeback<\/strong> \u05e2\u05d1\u05d5\u05e8 \u05dc\u05e7\u05d5\u05d7\u05d5\u05ea \u05e4\u05e0\u05d9\u05de\u05d9\u05d9\u05dd \u05d0\u05d5 \u05d7\u05d9\u05e6\u05d5\u05e0\u05d9\u05d9\u05dd.<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-95\">LiteLLM \u05d2\u05dd \u05d7\u05d5\u05e9\u05e3 \u05de\u05d3\u05d3\u05d9 <strong>Prometheus<\/strong> \u05db\u05d2\u05d5\u05df \u05e2\u05dc\u05d5\u05ea \u05db\u05d5\u05dc\u05dc\u05ea \u05d5\u05e9\u05d9\u05de\u05d5\u05e9 \u05d1-Tokens \u05dc\u05db\u05dc \u05de\u05d5\u05d3\u05dc \u05d5\u05de\u05e4\u05ea\u05d7, \u05db\u05da \u05e9\u05ea\u05d5\u05db\u05dc\u05d5 \u05dc\u05d4\u05d5\u05e1\u05d9\u05e3 \u05dc\u05d5\u05d7\u05d5\u05ea \u05d1\u05e7\u05e8\u05d4 \u05e9\u05dc <strong>Grafana<\/strong> (\u200f<strong>Grafana Dashboards<\/strong>) \u05d4\u05de\u05e6\u05d9\u05d2\u05d9\u05dd \u05d4\u05d5\u05e6\u05d0\u05d5\u05ea \u05d1\u05d6\u05de\u05df \u05d0\u05de\u05ea \u05d5\u05d4\u05d9\u05e1\u05d8\u05d5\u05e8\u05d9\u05d5\u05ea \u05e2\u05d1\u05d5\u05e8 LLMs, \u05d1\u05d3\u05d9\u05d5\u05e7 \u05db\u05e4\u05d9 \u05e9\u05d0\u05ea\u05dd \u05e2\u05d5\u05e9\u05d9\u05dd \u05e2\u05d1\u05d5\u05e8 \u05ea\u05e9\u05ea\u05d9\u05d5\u05ea (<strong>Infrastructure<\/strong>). <br>\u05e2\u05d1\u05d5\u05e8 \u05d0\u05e8\u05d2\u05d5\u05e0\u05d9\u05dd \u05e8\u05d1\u05d9\u05dd \u05d6\u05d5 \u05d4\u05e4\u05e2\u05dd \u05d4\u05e8\u05d0\u05e9\u05d5\u05e0\u05d4 \u05e9\u05d4\u05dd \u05de\u05e7\u05d1\u05dc\u05d9\u05dd \u05e0\u05e8\u05d0\u05d5\u05ea \u05e2\u05dc\u05d5\u05d9\u05d5\u05ea \u05de\u05d3\u05d5\u05d9\u05e7\u05ea \u05dc\u05db\u05dc \u05d3\u05d9\u05d9\u05e8 (<strong>Per-Tenant<\/strong>) \u05e2\u05dc \u05e4\u05e0\u05d9 \u05db\u05dc \u05d4\u05e9\u05d9\u05de\u05d5\u05e9 \u05d1-GenAI.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">2) \u05ea\u05e7\u05e6\u05d9\u05d1\u05d9\u05dd \u05d5\u05e9\u05db\u05d1\u05d5\u05ea \u05d4\u05d2\u05d1\u05dc\u05ea \u05e7\u05e6\u05d1 (Rate Limit Tiers)<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-96\">\u05de\u05e2\u05d1\u05e8 \u05dc\u05de\u05e2\u05e7\u05d1 \u05d4\u05d2\u05d5\u05dc\u05de\u05d9, LiteLLM \u05de\u05d0\u05e4\u05e9\u05e8 \u05dc\u05db\u05dd \u05dc\u05d4\u05d2\u05d3\u05d9\u05e8 \u05ea\u05e7\u05e6\u05d9\u05d1\u05d9\u05dd \u05d5-<strong>Rate Limit Tiers<\/strong> \u2013 \u05ea\u05d5\u05db\u05e0\u05d9\u05d5\u05ea \u05dc\u05e9\u05d9\u05de\u05d5\u05e9 \u05d7\u05d5\u05d6\u05e8 \u05d4\u05de\u05d2\u05d1\u05d9\u05dc\u05d5\u05ea \u05d0\u05ea \u05db\u05de\u05d5\u05ea \u05d4\u05e6\u05e8\u05d9\u05db\u05d4 \u05d4\u05de\u05d5\u05ea\u05e8\u05ea \u05dc\u05db\u05dc \u05de\u05e4\u05ea\u05d7 \/ \u05de\u05e9\u05ea\u05de\u05e9 \/ \u05e6\u05d5\u05d5\u05ea<sup><\/sup>. \u05d1\u05d4\u05d2\u05d3\u05e8\u05d5\u05ea (<strong>Configuration<\/strong>) \u05e0\u05d9\u05ea\u05df \u05dc\u05d4\u05d2\u05d3\u05d9\u05e8 \u05e9\u05db\u05d1\u05d5\u05ea (<strong>Tiers<\/strong>) \u05e2\u05dd \u05de\u05d2\u05d1\u05dc\u05d5\u05ea \u05d3\u05d5\u05dc\u05e8\u05d9\u05d5\u05ea \u05d7\u05d5\u05d3\u05e9\u05d9\u05d5\u05ea, \u05de\u05db\u05e1\u05d5\u05ea Tokens, \u05de\u05d2\u05d1\u05dc\u05ea <strong>RPM<\/strong> (\u05d1\u05e7\u05e9\u05d5\u05ea \u05dc\u05d3\u05e7\u05d4) \u05d5\u05de\u05d2\u05d1\u05dc\u05ea <strong>TPM<\/strong> (\u05d8\u05d5\u05e7\u05e0\u05d9\u05dd \u05dc\u05d3\u05e7\u05d4) \u05d5\u05d0\u05d6 \u05dc\u05d4\u05e7\u05e6\u05d5\u05ea \u05de\u05e4\u05ea\u05d7\u05d5\u05ea \u05d5\u05d9\u05e8\u05d8\u05d5\u05d0\u05dc\u05d9\u05d9\u05dd \u05dc\u05e9\u05db\u05d1\u05d5\u05ea \u05d0\u05dc\u05d5<sup><\/sup>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-97\">\u05db\u05d0\u05e9\u05e8 \u05de\u05e4\u05ea\u05d7 \u05de\u05d2\u05d9\u05e2 \u05dc\u05ea\u05e7\u05e6\u05d9\u05d1 \u05d0\u05d5 \u05dc\u05e1\u05e3 \u05d4-RPM\/TPM \u05e9\u05dc\u05d5, LiteLLM \u05d9\u05db\u05d5\u05dc \u05dc\u05d7\u05e1\u05d5\u05dd \u05d0\u05d5\u05d8\u05d5\u05de\u05d8\u05d9\u05ea \u05d1\u05e7\u05e9\u05d5\u05ea \u05e0\u05d5\u05e1\u05e4\u05d5\u05ea \u05d0\u05d5 \u05dc\u05d4\u05d7\u05d6\u05d9\u05e8 \u05ea\u05d2\u05d5\u05d1\u05d5\u05ea <strong>Rate-Limit<\/strong> \u05e1\u05d8\u05e0\u05d3\u05e8\u05d8\u05d9\u05d5\u05ea, \u05d1\u05e2\u05d5\u05d3 \u05e9\u05de\u05d3\u05d3\u05d9\u05dd \u05db\u05de\u05d5 <code>litellm_rate_limit_remaining<\/code> \u05e2\u05d5\u05d6\u05e8\u05d9\u05dd \u05dc\u05db\u05dd \u05dc\u05e0\u05d8\u05e8 \u05d0\u05ea \u05d4\u05e7\u05d9\u05d1\u05d5\u05dc\u05ea \u05d4\u05e0\u05d5\u05ea\u05e8\u05ea \u05dc\u05db\u05dc \u05e9\u05db\u05d1\u05d4<sup><\/sup>. \u05ea\u05db\u05d5\u05e0\u05d4 \u05d6\u05d5 \u05de\u05e7\u05dc\u05d4 \u05e2\u05dc \u05d9\u05d9\u05e9\u05d5\u05dd &quot;\u05ea\u05d5\u05db\u05e0\u05d9\u05d5\u05ea&quot; \u05e2\u05d1\u05d5\u05e8 \u05e6\u05d5\u05d5\u05ea\u05d9\u05dd \u05e4\u05e0\u05d9\u05de\u05d9\u05d9\u05dd \u05d0\u05d5 \u05dc\u05e7\u05d5\u05d7\u05d5\u05ea \u05d7\u05d9\u05e6\u05d5\u05e0\u05d9\u05d9\u05dd (\u05dc\u05d3\u05d5\u05d2\u05de\u05d4 Free \/ Standard \/ Enterprise), \u05e9\u05dc\u05db\u05dc \u05d0\u05d7\u05ea \u05de\u05d4\u05df \u05ea\u05e7\u05e6\u05d9\u05d1 \u05d5\u05d0\u05d9\u05dc\u05d5\u05e6\u05d9 \u05ea\u05e4\u05d5\u05e7\u05d4 (<strong>Throughput<\/strong>) \u05de\u05e9\u05dc\u05d4, \u05d1\u05d3\u05d5\u05de\u05d4 \u05dc-<strong>SaaS APIs<\/strong><sup><\/sup>.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">3) Guardrails: \u05d1\u05d8\u05d9\u05d7\u05d5\u05ea \u05de\u05e8\u05db\u05d6\u05d9\u05ea \u05d5\u05d0\u05db\u05d9\u05e4\u05ea \u05de\u05d3\u05d9\u05e0\u05d9\u05d5\u05ea<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-98\">\u05d9\u05db\u05d5\u05dc\u05ea \u05de\u05e8\u05db\u05d6\u05d9\u05ea \u05e0\u05d5\u05e1\u05e4\u05ea \u05d4\u05d9\u05d0 <strong>Guardrails<\/strong>: \u05d4\u05d9\u05db\u05d5\u05dc\u05ea \u05dc\u05d4\u05d7\u05d9\u05dc \u05de\u05d3\u05d9\u05e0\u05d9\u05d5\u05ea \u05e9\u05dc \u05d1\u05d8\u05d9\u05d7\u05d5\u05ea, \u05ea\u05d0\u05d9\u05de\u05d5\u05ea (<strong>Compliance<\/strong>) \u05d5\u05ea\u05d5\u05db\u05df \u05e2\u05dc Prompts \u05d5\u05ea\u05d2\u05d5\u05d1\u05d5\u05ea, \u05d1-Gateway \u05de\u05e8\u05db\u05d6\u05d9 \u05d0\u05d7\u05d3<sup><\/sup>. LiteLLM \u05de\u05d0\u05e4\u05e9\u05e8 \u05dc\u05db\u05dd \u05dc\u05d4\u05d2\u05d3\u05d9\u05e8 Guardrails \u05e9\u05e8\u05e6\u05d9\u05dd <strong>\u05dc\u05e4\u05e0\u05d9<\/strong> \u05e9\u05dc\u05d9\u05d7\u05ea \u05d4\u05d1\u05e7\u05e9\u05d4 (<strong>Pre-Call<\/strong>) \u05d5\/\u05d0\u05d5 <strong>\u05d0\u05d7\u05e8\u05d9<\/strong> \u05d9\u05e6\u05d9\u05e8\u05ea \u05d4\u05ea\u05d2\u05d5\u05d1\u05d4 (<strong>Post-Call<\/strong>), \u05db\u05da \u05e9\u05ea\u05d5\u05db\u05dc\u05d5 \u05dc\u05d7\u05e1\u05d5\u05dd \u05d0\u05d5 \u05dc\u05e9\u05e0\u05d5\u05ea \u05ea\u05e2\u05d1\u05d5\u05e8\u05d4 \u05d4\u05de\u05e4\u05d9\u05e8\u05d4 \u05d0\u05ea \u05d4\u05db\u05dc\u05dc\u05d9\u05dd \u05e9\u05dc\u05db\u05dd<sup><\/sup>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-99\">\u05d4-Gateway \u05d9\u05db\u05d5\u05dc \u05dc\u05d4\u05e9\u05ea\u05dc\u05d1 \u05e2\u05dd \u05de\u05e2\u05e8\u05db\u05d5\u05ea Guardrails \u05d1\u05e6\u05d3 \u05d4\u05e1\u05e4\u05e7 \u05db\u05d2\u05d5\u05df <strong>AWS Bedrock Guardrails<\/strong> \u05d5\u05d0\u05e4\u05d9\u05dc\u05d5 \u05dc\u05d0\u05d6\u05df \u05e2\u05d5\u05de\u05e1\u05d9\u05dd (<strong>Load-Balance<\/strong>) \u05e9\u05dc \u05d1\u05e7\u05e9\u05d5\u05ea Guardrail \u05e2\u05dc \u05e4\u05e0\u05d9 \u05e4\u05e8\u05d9\u05e1\u05d5\u05ea \u05d0\u05d5 \u05d7\u05e9\u05d1\u05d5\u05e0\u05d5\u05ea \u05de\u05e8\u05d5\u05d1\u05d9\u05dd \u05db\u05d3\u05d9 \u05dc\u05d4\u05d9\u05e9\u05d0\u05e8 \u05de\u05ea\u05d7\u05ea \u05dc\u05de\u05d2\u05d1\u05dc\u05d5\u05ea \u05d4\u05e1\u05e4\u05e7<sup><\/sup>. \u05e9\u05d9\u05de\u05d5\u05e9\u05d9\u05dd \u05d0\u05d5\u05e4\u05d9\u05d9\u05e0\u05d9\u05d9\u05dd \u05db\u05d5\u05dc\u05dc\u05d9\u05dd \u05d7\u05e1\u05d9\u05de\u05ea \u05de\u05d9\u05d3\u05e2 \u05e8\u05d2\u05d9\u05e9 (<strong>PII<\/strong>), \u05d0\u05db\u05d9\u05e4\u05ea \u05e0\u05d5\u05e9\u05d0\u05d9\u05dd \u05de\u05d5\u05ea\u05e8\u05d9\u05dd, \u05d7\u05d9\u05d8\u05d5\u05d9 (<strong>Sanitizing<\/strong>) \u05e4\u05dc\u05d8\u05d9\u05dd \u05e2\u05d1\u05d5\u05e8 \u05d3\u05d5\u05de\u05d9\u05d9\u05e0\u05d9\u05dd \u05e2\u05e1\u05e7\u05d9\u05d9\u05dd \u05e1\u05e4\u05e6\u05d9\u05e4\u05d9\u05d9\u05dd, \u05d0\u05d5 \u05e9\u05d9\u05dc\u05d5\u05d1 \u05dc\u05d5\u05d2\u05d9\u05e7\u05ea Guardrail \u05de\u05e9\u05dc\u05db\u05dd \u05e9\u05e8\u05e6\u05d4 \u05e2\u05d1\u05d5\u05e8 <strong>\u05db\u05dc \u05d4\u05de\u05d5\u05d3\u05dc\u05d9\u05dd<\/strong> \u05d1\u05de\u05e7\u05d5\u05dd \u05d0\u05d7\u05d3<sup><\/sup>.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">4) \u05d2\u05d9\u05e9\u05d4 \u05dc\u05de\u05d5\u05d3\u05dc\u05d9\u05dd \u05d5\u05de\u05e4\u05ea\u05d7\u05d5\u05ea \u05d5\u05d9\u05e8\u05d8\u05d5\u05d0\u05dc\u05d9\u05d9\u05dd (Virtual Keys)<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-100\">LiteLLM \u05de\u05e6\u05d9\u05d2 \u05d0\u05ea \u05d4\u05de\u05d5\u05e9\u05d2 \u05e9\u05dc \u05de\u05e4\u05ea\u05d7\u05d5\u05ea API \u05d5\u05d9\u05e8\u05d8\u05d5\u05d0\u05dc\u05d9\u05d9\u05dd (<strong>Virtual API Keys<\/strong>) \u05d4\u05de\u05de\u05d5\u05e4\u05d9\u05dd \u05dc\u05de\u05e4\u05ea\u05d7\u05d5\u05ea \u05d4\u05e1\u05e4\u05e7 \u05d5\u05dc\u05e8\u05e9\u05d9\u05de\u05d5\u05ea \u05d4\u05de\u05d5\u05d3\u05dc\u05d9\u05dd \u05d4\u05d0\u05de\u05d9\u05ea\u05d9\u05d9\u05dd \u05e9\u05de\u05ea\u05d7\u05ea, \u05d3\u05d1\u05e8 \u05e9\u05d9\u05de\u05d5\u05e9\u05d9 \u05de\u05d0\u05d5\u05d3 \u05e2\u05d1\u05d5\u05e8 <strong>DevOps<\/strong> \u05d5\u05d0\u05d1\u05d8\u05d7\u05ea \u05de\u05d9\u05d3\u05e2<sup><\/sup>. \u05d1\u05de\u05e7\u05d5\u05dd \u05dc\u05ea\u05ea \u05dc\u05de\u05e4\u05ea\u05d7\u05d9\u05dd \u05de\u05e4\u05ea\u05d7\u05d5\u05ea \u05d9\u05e9\u05d9\u05e8\u05d9\u05dd \u05e9\u05dc OpenAI \u05d0\u05d5 Anthropic, \u05d0\u05ea\u05dd \u05de\u05e0\u05e4\u05d9\u05e7\u05d9\u05dd \u05de\u05e4\u05ea\u05d7\u05d5\u05ea LiteLLM \u05e2\u05dd \u05d4\u05d2\u05d3\u05e8\u05d4 \u05e7\u05e4\u05d3\u05e0\u05d9\u05ea \u05e9\u05dc \u05de\u05d5\u05d3\u05dc\u05d9\u05dd \u05de\u05d5\u05ea\u05e8\u05d9\u05dd \u05d5\u05ea\u05e7\u05e6\u05d9\u05d1\u05d9\u05dd, \u05d5\u05de\u05d1\u05e6\u05e2\u05d9\u05dd \u05e8\u05d5\u05d8\u05e6\u05d9\u05d4 (<strong>Rotation<\/strong>) \u05dc\u05de\u05e4\u05ea\u05d7\u05d5\u05ea \u05d4\u05e1\u05e4\u05e7 \u05de\u05d0\u05d7\u05d5\u05e8\u05d9 \u05d4\u05e7\u05dc\u05e2\u05d9\u05dd \u05dc\u05e4\u05d9 \u05d4\u05e6\u05d5\u05e8\u05da<sup><\/sup>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">&lt;\u05db\u05d0\u05df \u05e0\u05e9\u05d9\u05dd \u05e6\u05d9\u05dc\u05d5\u05de\u05e1\u05da \u05d0\u05d5 \u05d5\u05d9\u05d3\u05d0\u05d5 \u05e7\u05e6\u05e8><\/p>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-101\">\u05d4\u05e0\u05d9\u05ea\u05d5\u05d1 \u05de\u05ea\u05d1\u05e6\u05e2 \u05d1\u05d0\u05de\u05e6\u05e2\u05d5\u05ea \u05d4\u05d2\u05d3\u05e8\u05ea <code>model_list<\/code> \u05e9\u05d1\u05d4 \u05e9\u05de\u05d5\u05ea \u05de\u05d5\u05d3\u05dc\u05d9\u05dd \u05dc\u05d5\u05d2\u05d9\u05d9\u05dd (\u05dc\u05d3\u05d5\u05d2\u05de\u05d4 <code>gpt-5<\/code> \u05d0\u05d5 <code>internal-english-model<\/code>) \u05de\u05de\u05d5\u05e4\u05d9\u05dd \u05dc\u05d0\u05d7\u05d3 \u05d0\u05d5 \u05d9\u05d5\u05ea\u05e8 \u05e1\u05e4\u05e7\u05d9\u05dd \u05d5\u05de\u05e2\u05e8\u05db\u05d5\u05ea \u05e2\u05d5\u05e8\u05e4\u05d9\u05d5\u05ea (<strong>Backends<\/strong>), \u05db\u05d5\u05dc\u05dc Cloud LLMs \u05d5\u05de\u05d5\u05d3\u05dc\u05d9\u05dd \u05d1-Self-Hosted \/ \u05de\u05e7\u05d5\u05de\u05d9\u05d9\u05dd (\u05dc\u05d3\u05d5\u05d2\u05de\u05d4 \u05d1\u05d0\u05de\u05e6\u05e2\u05d5\u05ea Ollama \u05d0\u05d5 vLLM). \u05e0\u05d9\u05ea\u05df \u05d2\u05dd \u05dc\u05d4\u05d2\u05d3\u05d9\u05e8 <strong>Fallbacks<\/strong> \u05d5-<strong>Load-Balancing<\/strong> \u05d1\u05d9\u05df \u05e1\u05e4\u05e7\u05d9\u05dd, \u05db\u05da \u05e9\u05d0\u05dd \u05e1\u05e4\u05e7 \u05d0\u05d7\u05d3 \u05de\u05d5\u05e9\u05d1\u05ea \u05d0\u05d5 \u05de\u05d5\u05d2\u05d1\u05dc, LiteLLM \u05d9\u05db\u05d5\u05dc \u05dc\u05e0\u05e1\u05d5\u05ea \u05d0\u05d5\u05d8\u05d5\u05de\u05d8\u05d9\u05ea \u05e1\u05e4\u05e7 \u05d0\u05d7\u05e8 \u05ea\u05d5\u05da \u05e9\u05de\u05d9\u05e8\u05d4 \u05e2\u05dc \u05d0\u05d5\u05ea\u05d5 \u05de\u05de\u05e9\u05e7 \u05d1\u05e1\u05d2\u05e0\u05d5\u05df OpenAI \u05e2\u05d1\u05d5\u05e8 \u05d4\u05d0\u05e4\u05dc\u05d9\u05e7\u05e6\u05d9\u05d5\u05ea \u05e9\u05dc\u05db\u05dd.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">5) Observability \u05d5\u05e0\u05d9\u05d8\u05d5\u05e8 \u05dc- LLMs<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-102\"><strong>Observability<\/strong> (\u05d9\u05db\u05d5\u05dc\u05ea \u05ea\u05e6\u05e4\u05d9\u05ea) \u05d4\u05d9\u05d0 \u05e7\u05e8\u05d9\u05d8\u05d9\u05ea \u05db\u05d0\u05e9\u05e8 \u05de\u05e8\u05d9\u05e6\u05d9\u05dd LLMs \u05d1\u05e1\u05d1\u05d9\u05d1\u05ea \u05d9\u05d9\u05e6\u05d5\u05e8 (<strong>Production<\/strong>), \u05d5-LiteLLM \u05de\u05e1\u05e4\u05e7 \u05de\u05e1\u05e4\u05e8 \u05e9\u05db\u05d1\u05d5\u05ea \u05e9\u05dc \u05e0\u05d9\u05d8\u05d5\u05e8 \u05d9\u05e9\u05d9\u05e8\u05d5\u05ea \u05de\u05d4\u05e7\u05d5\u05e4\u05e1\u05d4<sup><\/sup>. \u05d4-Gateway \u05d7\u05d5\u05e9\u05e3 Endpoint \u05e9\u05dc <code>\/metrics<\/code> \u05d4\u05ea\u05d5\u05d0\u05dd \u05dc-<strong>Prometheus<\/strong> \u05e2\u05dd \u05de\u05d3\u05d3\u05d9\u05dd \u05dc\u05d2\u05d1\u05d9 \u05e1\u05e4\u05d9\u05e8\u05d5\u05ea \u05d1\u05e7\u05e9\u05d5\u05ea, \u05d6\u05de\u05e0\u05d9 \u05d4\u05e9\u05d4\u05d9\u05d4 (<strong>Latencies<\/strong>), \u05e9\u05d9\u05de\u05d5\u05e9 \u05d1-Tokens, \u05e1\u05db\u05d5\u05de\u05d9 \u05e2\u05dc\u05d5\u05ea \u05d5-Rate Limits \u05dc\u05db\u05dc \u05de\u05d5\u05d3\u05dc \u05d5\u05de\u05e4\u05ea\u05d7<sup><\/sup>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-103\">\u05d1\u05e0\u05d5\u05e1\u05e3, LiteLLM \u05db\u05d5\u05ea\u05d1 \u05dc\u05d5\u05d2\u05d9\u05dd \u05de\u05d5\u05d1\u05b0\u05e0\u05d9\u05dd (<strong>Structured Logs<\/strong>) \u05de\u05e4\u05d5\u05e8\u05d8\u05d9\u05dd \u05d5\u05de\u05e6\u05d9\u05e2 \u05e9\u05d9\u05dc\u05d5\u05d1\u05d9\u05dd \u05e2\u05dd<br> Langfuse, OpenTelemetry, Datadog, Helicone, Lunary, MLflow \u05d5\u05d0\u05d7\u05e8\u05d9\u05dd <br>\u05d1\u05d0\u05de\u05e6\u05e2\u05d5\u05ea <strong>Callbacks<\/strong> \u05d5-<strong>Logging Hooks<\/strong>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-103\">\u05d4\u05de\u05e9\u05de\u05e2\u05d5\u05ea \u05d4\u05d9\u05d0 \u05e9\u05d0\u05ea\u05dd \u05d9\u05db\u05d5\u05dc\u05d9\u05dd \u05dc\u05e2\u05e7\u05d5\u05d1 \u05d0\u05d7\u05e8 \u05d1\u05e7\u05e9\u05d5\u05ea \u05de\u05e7\u05e6\u05d4 \u05dc\u05e7\u05e6\u05d4, \u05dc\u05e2\u05e9\u05d5\u05ea \u05dc\u05d4\u05df \u05e7\u05d5\u05e8\u05dc\u05e6\u05d9\u05d4 \u05e2\u05dd \u05dc\u05d5\u05d2\u05d9\u05dd \u05e9\u05dc \u05d4\u05d0\u05e4\u05dc\u05d9\u05e7\u05e6\u05d9\u05d4 (<strong>App Logs<\/strong>) \u05d5\u05de\u05d3\u05d3\u05d9 \u05ea\u05e9\u05ea\u05d9\u05ea, \u05d5\u05dc\u05d1\u05e0\u05d5\u05ea \u05ea\u05de\u05d5\u05e0\u05d4 \u05de\u05e6\u05d9\u05d0\u05d5\u05ea\u05d9\u05ea \u05e9\u05dc \u05d4\u05d0\u05d5\u05e4\u05df \u05e9\u05d1\u05d5 \u05e0\u05e2\u05e9\u05d4 \u05e9\u05d9\u05de\u05d5\u05e9 \u05d1-GenAI \u05dc\u05d0\u05d5\u05e8\u05da \u05db\u05dc \u05de\u05d7\u05d6\u05d5\u05e8 \u05d7\u05d9\u05d9 \u05e4\u05d9\u05ea\u05d5\u05d7 \u05d4\u05ea\u05d5\u05db\u05e0\u05d4 (<strong>SDLC<\/strong>) \u05d5\u05de\u05e2\u05e8\u05db\u05d5\u05ea \u05d4-Production \u05e9\u05dc\u05db\u05dd.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">6) S3 Logging \u05dc\u05e9\u05de\u05d9\u05e8\u05ea \u05e0\u05ea\u05d5\u05e0\u05d9\u05dd \u05dc\u05d8\u05d5\u05d5\u05d7 \u05d0\u05e8\u05d5\u05da<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-104\">\u05e2\u05d1\u05d5\u05e8 \u05d0\u05e8\u05d2\u05d5\u05e0\u05d9\u05dd \u05d4\u05d6\u05e7\u05d5\u05e7\u05d9\u05dd \u05dc\u05e9\u05d9\u05de\u05d5\u05e8 \u05e0\u05ea\u05d5\u05e0\u05d9\u05dd \u05dc\u05d8\u05d5\u05d5\u05d7 \u05d0\u05e8\u05d5\u05da \u05d0\u05d5 \u05dc\u05d0\u05d7\u05e1\u05d5\u05df \u05e7\u05e8 (<strong>Cold Storage<\/strong>) \u05d5\u05d6\u05d5\u05dc \u05e9\u05dc \u05dc\u05d5\u05d2\u05d9\u05dd \u05e9\u05dc LLM , \u05d0\u05d6 LiteLLM \u05ea\u05d5\u05de\u05da \u05d1-<strong>Logging<\/strong> \u05d9\u05e9\u05d9\u05e8\u05d5\u05ea \u05d0\u05dc <strong>S3 \/ GCS \/ Cloud Buckets<\/strong> \u05d1\u05d0\u05de\u05e6\u05e2\u05d5\u05ea Callbacks \u05de\u05d5\u05d1\u05e0\u05d9\u05dd. \u05e2\u05dc \u05d9\u05d3\u05d9 \u05d4\u05e4\u05e2\u05dc\u05ea \u05d4-S3 Callback \u05d1-<code>litellm_settings<\/code> \u05d5\u05d4\u05d2\u05d3\u05e8\u05ea \u05d4\u05e4\u05e8\u05de\u05d8\u05e8\u05d9\u05dd \u05e9\u05dc \u05d4-Bucket, \u05d4-Gateway \u05d9\u05d1\u05e6\u05e2 \u05e1\u05e8\u05d9\u05d0\u05dc\u05d9\u05d6\u05e6\u05d9\u05d4 (<strong>Serialize<\/strong>) \u05dc\u05de\u05d8\u05d0-\u05d3\u05d0\u05d8\u05d4 \u05e9\u05dc \u05d4\u05d1\u05e7\u05e9\u05d5\u05ea\/\u05ea\u05d2\u05d5\u05d1\u05d5\u05ea \u05dc\u05e7\u05d5\u05d1\u05e6\u05d9 JSON \u05d5\u05d9\u05e2\u05dc\u05d4 \u05d0\u05d5\u05ea\u05dd \u05dc-Bucket, \u05d1\u05d3\u05e8\u05da \u05db\u05dc\u05dc \u05e2\u05dd \u05d7\u05dc\u05d5\u05e7\u05d4 \u05de\u05d7\u05d9\u05e6\u05ea\u05d9\u05ea \u05dc\u05e4\u05d9 \u05ea\u05d0\u05e8\u05d9\u05da \u05d5\u05e7\u05d9\u05d3\u05d5\u05de\u05d5\u05ea (<strong>Prefixes<\/strong>) \u05d0\u05d5\u05e4\u05e6\u05d9\u05d5\u05e0\u05dc\u05d9\u05d5\u05ea (\u05db\u05d2\u05d5\u05df \u05e6\u05d5\u05d5\u05ea \u05d0\u05d5 \u05e1\u05d1\u05d9\u05d1\u05d4).<\/p>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-105\">\u05e7\u05d9\u05d9\u05de\u05d5\u05ea \u05d0\u05e4\u05e9\u05e8\u05d5\u05d9\u05d5\u05ea \u05dc\u05d4\u05e4\u05e8\u05d9\u05d3 <strong>Audit Logs<\/strong> (\u05dc\u05d8\u05d5\u05d1\u05ea <strong>Compliance<\/strong>) \u05de\u05dc\u05d5\u05d2\u05d9\u05dd \u05e9\u05dc \u05d1\u05e7\u05e9\u05d5\u05ea \u05db\u05dc\u05dc\u05d9\u05d5\u05ea, \u05d5\u05dc\u05e9\u05dc\u05d5\u05d7 \u05d0\u05d5\u05ea\u05dd \u05dc-Buckets \u05d0\u05d5 \u05e7\u05d9\u05d3\u05d5\u05de\u05d5\u05ea \u05e9\u05d5\u05e0\u05d5\u05ea, \u05d3\u05d1\u05e8 \u05d4\u05e9\u05d9\u05de\u05d5\u05e9\u05d9 \u05e2\u05d1\u05d5\u05e8 \u05e1\u05d1\u05d9\u05d1\u05d5\u05ea \u05e8\u05d2\u05d5\u05dc\u05d8\u05d5\u05e8\u05d9\u05d5\u05ea. \u05d1\u05e8\u05d2\u05e2 \u05e9\u05d4\u05e0\u05ea\u05d5\u05e0\u05d9\u05dd \u05e9\u05dd, \u05e6\u05d5\u05d5\u05ea \u05d4-<strong>Data<\/strong> \u05e9\u05dc\u05db\u05dd \u05d9\u05db\u05d5\u05dc \u05dc\u05d4\u05e8\u05d9\u05e5 \u05d0\u05e0\u05dc\u05d9\u05d8\u05d9\u05e7\u05d5\u05ea \u05d1\u05db\u05dc\u05d9\u05dd \u05db\u05de\u05d5 Athena, BigQuery \u05d0\u05d5 Spark \u05de\u05d1\u05dc\u05d9 \u05dc\u05d2\u05e2\u05ea \u05d1\u05de\u05e2\u05e8\u05db\u05d5\u05ea \u05d4-Production.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">7) Batches API \u05dc\u05e2\u05d1\u05d5\u05d3\u05d5\u05ea \u05d1\u05e7\u05e0\u05d4 \u05de\u05d9\u05d3\u05d4 \u05e8\u05d7\u05d1<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-106\">\u05d9\u05e9\u05e0\u05dd \u05e2\u05d5\u05de\u05e1\u05d9 \u05e2\u05d1\u05d5\u05d3\u05d4 (\u05dc\u05d3\u05d5\u05d2\u05de\u05d4, \u05d3\u05d9\u05e8\u05d5\u05d2 \u05de\u05d9\u05dc\u05d9\u05d5\u05e0\u05d9 \u05e8\u05e9\u05d5\u05de\u05d5\u05ea \u05d0\u05d5 \u05d4\u05e8\u05e6\u05ea \u05e0\u05d9\u05ea\u05d5\u05d7 \u05dc\u05d9\u05dc\u05d9) \u05e9\u05d8\u05d5\u05d1 \u05d9\u05d5\u05ea\u05e8 \u05dc\u05d8\u05e4\u05dc \u05d1\u05d4\u05dd \u05d1\u05d0\u05de\u05e6\u05e2\u05d5\u05ea \u05e2\u05d9\u05d1\u05d5\u05d3 \u05d0\u05e6\u05d5\u05d5\u05d4 (<strong>Batch Processing<\/strong>) \u05d1\u05de\u05e7\u05d5\u05dd \u05d1\u05d4\u05e8\u05d1\u05d4 \u05e7\u05e8\u05d9\u05d0\u05d5\u05ea \u05e1\u05d9\u05e0\u05db\u05e8\u05d5\u05e0\u05d9\u05d5\u05ea \u05e7\u05d8\u05e0\u05d5\u05ea<sup><\/sup>. LiteLLM \u05ea\u05d5\u05de\u05da \u05d1-<strong>Batches API<\/strong> \u05d3\u05de\u05d5\u05d9 OpenAI, \u05db\u05d5\u05dc\u05dc \u05e0\u05e7\u05d5\u05d3\u05d5\u05ea \u05e7\u05e6\u05d4 \u05d1\u05e1\u05d2\u05e0\u05d5\u05df <code>\/v1\/files<\/code> \u05d5-<code>\/v1\/batches<\/code>, \u05e9\u05d1\u05d4\u05df \u05d0\u05ea\u05dd \u05de\u05e2\u05dc\u05d9\u05dd \u05e7\u05d5\u05d1\u05e5 JSONL \u05e2\u05dd \u05d1\u05e7\u05e9\u05d5\u05ea \u05e8\u05d1\u05d5\u05ea \u05d5\u05e0\u05d5\u05ea\u05e0\u05d9\u05dd \u05dc\u05e1\u05e4\u05e7 \u05dc\u05e2\u05d1\u05d3 \u05d0\u05d5\u05ea\u05df \u05d1\u05d0\u05d5\u05e4\u05df \u05d0\u05e1\u05d9\u05e0\u05db\u05e8\u05d5\u05e0\u05d9 (<strong>Asynchronously<\/strong>)<sup><\/sup>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-107\">\u05de\u05d0\u05d7\u05d5\u05e8\u05d9 \u05d4\u05e7\u05dc\u05e2\u05d9\u05dd, LiteLLM \u05d9\u05db\u05d5\u05dc \u05dc\u05e0\u05ea\u05d1 \u05d0\u05ea \u05e2\u05d1\u05d5\u05d3\u05d5\u05ea \u05d4-Batch \u05d4\u05dc\u05dc\u05d5 \u05dc\u05e1\u05e4\u05e7\u05d9\u05dd \u05db\u05de\u05d5 vLLM \u05d5-Amazon Bedrock Batch APIs, \u05ea\u05d5\u05da \u05db\u05d3\u05d9 \u05e9\u05d4\u05d5\u05d0 \u05e2\u05d3\u05d9\u05d9\u05df \u05d0\u05d5\u05db\u05e3 \u05d0\u05ea \u05d0\u05d5\u05ea\u05dd \u05ea\u05e7\u05e6\u05d9\u05d1\u05d9\u05dd, Rate Limits \u05d5\u05db\u05dc\u05dc\u05d9 Logging \u05db\u05de\u05d5 \u05d1-<strong>Chat Completions<\/strong> \u05e8\u05d2\u05d9\u05dc\u05d9\u05dd<sup><\/sup>. \u05d6\u05d4\u05d5 \u05e4\u05ea\u05e8\u05d5\u05df \u05d0\u05d9\u05d3\u05d9\u05d0\u05dc\u05d9 \u05e2\u05d1\u05d5\u05e8 \u05e6\u05d5\u05d5\u05ea\u05d9 <strong>Data-Science<\/strong> \u05e4\u05e0\u05d9\u05de\u05d9\u05d9\u05dd \u05e9\u05e8\u05d5\u05e6\u05d9\u05dd \u05dc\u05d4\u05e8\u05d9\u05e5 \u05e2\u05d1\u05d5\u05d3\u05d5\u05ea LLM \u05d2\u05d3\u05d5\u05dc\u05d5\u05ea \u05d1\u05de\u05e6\u05d1 \u05dc\u05d0 \u05de\u05e7\u05d5\u05d5\u05df (<strong>Offline<\/strong>) \u05de\u05d1\u05dc\u05d9 \u05dc\u05e2\u05e7\u05d5\u05e3 \u05d1\u05e7\u05e8\u05d5\u05ea \u05e2\u05dc\u05d5\u05d9\u05d5\u05ea \u05d5\u05de\u05e9\u05d9\u05dc\u05d5\u05ea<sup><\/sup>.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">8) \u05e0\u05d9\u05d4\u05d5\u05dc Prompts \u05dc\u05d0\u05d9\u05db\u05d5\u05ea \u05d5\u05de\u05e9\u05d9\u05dc\u05d5\u05ea \u05d8\u05d5\u05d1\u05d5\u05ea \u05d9\u05d5\u05ea\u05e8<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-108\">\u05db\u05db\u05dc \u05e9\u05d4\u05e9\u05d9\u05de\u05d5\u05e9 \u05d1-LLM \u05d2\u05d3\u05dc, <strong>Prompts<\/strong> \u05d4\u05d5\u05e4\u05db\u05d9\u05dd \u05dc\u05e0\u05db\u05e1\u05d9\u05dd \u05e9\u05e6\u05e8\u05d9\u05da \u05dc\u05e0\u05d4\u05dc \u05dc\u05d4\u05dd \u05d2\u05e8\u05e1\u05d0\u05d5\u05ea, \u05dc\u05e9\u05ea\u05e3 \u05d5\u05dc\u05d0\u05db\u05d5\u05e3 \u05e2\u05dc\u05d9\u05d4\u05dd \u05de\u05e9\u05d9\u05dc\u05d5\u05ea \u2013 \u05d5\u05dc\u05d0 \u05e1\u05ea\u05dd \u05de\u05d7\u05e8\u05d5\u05d6\u05d5\u05ea (<strong>Strings<\/strong>) \u05d1\u05ea\u05d5\u05da \u05d4\u05e7\u05d5\u05d3<sup><\/sup>. LiteLLM \u05de\u05e1\u05e4\u05e7 \u05ea\u05db\u05d5\u05e0\u05d5\u05ea \u05e9\u05dc <strong>Prompt Management<\/strong> \u05d4\u05de\u05d0\u05e4\u05e9\u05e8\u05d5\u05ea \u05dc\u05db\u05dd \u05dc\u05d0\u05d7\u05e1\u05df \u05ea\u05d1\u05e0\u05d9\u05d5\u05ea Prompt, \u05dc\u05e0\u05d4\u05dc \u05d2\u05e8\u05e1\u05d0\u05d5\u05ea \u05e9\u05dc\u05d4\u05df \u05d5\u05dc\u05d4\u05d6\u05e8\u05d9\u05e7 \u05d0\u05d5\u05ea\u05df \u05dc\u05d1\u05e7\u05e9\u05d5\u05ea \u05d1\u05d0\u05d5\u05e4\u05df \u05de\u05e8\u05db\u05d6\u05d9, \u05d1\u05de\u05e7\u05d5\u05dd \u05dc\u05e7\u05d5\u05d3\u05d3 \u05d0\u05d5\u05ea\u05df \u05d1\u05d0\u05d5\u05e4\u05df \u05e7\u05e9\u05d9\u05d7 (<strong>Hard-Coding<\/strong>) \u05d1\u05db\u05dc \u05de\u05d9\u05e7\u05e8\u05d5-\u05e9\u05d9\u05e8\u05d5\u05ea<sup><\/sup>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-109\">\u05d4-Gateway \u05d9\u05db\u05d5\u05dc \u05dc\u05d4\u05e9\u05ea\u05dc\u05d1 \u05e2\u05dd \u05db\u05dc\u05d9 Prompt Management \u05e7\u05d9\u05d9\u05de\u05d9\u05dd \u05d3\u05e8\u05da Callbacks, \u05d5\u05d4\u05d5\u05d0 \u05d2\u05dd \u05d7\u05d5\u05e9\u05e3 \u05de\u05de\u05e9\u05e7 \u05de\u05e9\u05ea\u05de\u05e9 \u05dc\u05e0\u05d9\u05d4\u05d5\u05dc Prompts (<strong>Prompt Management UI<\/strong>) \u05e9\u05d1\u05d5 \u05ea\u05d5\u05db\u05dc\u05d5 \u05dc\u05d4\u05e2\u05dc\u05d5\u05ea \u05e7\u05d5\u05d1\u05e6\u05d9 Prompt (\u05dc\u05d3\u05d5\u05d2\u05de\u05d4 <code>.prompt<\/code> \/ <code>.dotprompt<\/code>) \u05d5\u05dc\u05d4\u05e2\u05e0\u05d9\u05e7 \u05dc\u05de\u05e4\u05ea\u05d7\u05d5\u05ea \u05e1\u05e4\u05e6\u05d9\u05e4\u05d9\u05d9\u05dd \u05d2\u05d9\u05e9\u05d4 \u05dc\u05ea\u05d1\u05e0\u05d9\u05d5\u05ea \u05e0\u05d1\u05d7\u05e8\u05d5\u05ea<sup><\/sup>. \u05d9\u05db\u05d5\u05dc\u05ea \u05d6\u05d5 \u05de\u05d0\u05e4\u05e9\u05e8\u05ea \u05d3\u05e4\u05d5\u05e1\u05d9 \u05e2\u05d1\u05d5\u05d3\u05d4 \u05db\u05d2\u05d5\u05df <strong>A\/B Testing<\/strong> \u05dc-Prompts, \u05e4\u05e8\u05d9\u05e1\u05ea \u05e2\u05d3\u05db\u05d5\u05e0\u05d9 Prompt \u05dc\u05dc\u05d0 \u05e6\u05d5\u05e8\u05da \u05d1\u05e4\u05e8\u05d9\u05e1\u05d4 \u05de\u05d7\u05d3\u05e9 (<strong>Redeploying<\/strong>) \u05e9\u05dc \u05d4\u05d0\u05e4\u05dc\u05d9\u05e7\u05e6\u05d9\u05d5\u05ea, \u05d5\u05d0\u05db\u05d9\u05e4\u05d4 \u05e9\u05dc \u05d0\u05d9\u05dc\u05d5 \u05e6\u05d5\u05d5\u05ea\u05d9\u05dd \u05d9\u05db\u05d5\u05dc\u05d9\u05dd \u05dc\u05d4\u05e9\u05ea\u05de\u05e9 \u05d1\u05d0\u05d9\u05dc\u05d5 \u05ea\u05d1\u05e0\u05d9\u05d5\u05ea \u05e8\u05e9\u05de\u05d9\u05d5\u05ea<sup><\/sup>.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">9) \u05e0\u05e7\u05d5\u05d3\u05d5\u05ea \u05e7\u05e6\u05d4 \u05e2\u05d5\u05d1\u05e8\u05d5\u05ea (Pass-Through Endpoints): \u05db\u05d0\u05e9\u05e8 \u05d3\u05e8\u05d5\u05e9\u05d9\u05dd Native APIs<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-110\">\u05d1\u05e2\u05d5\u05d3 \u05e9\u05e8\u05d5\u05d1 \u05d4\u05d0\u05e4\u05dc\u05d9\u05e7\u05e6\u05d9\u05d5\u05ea \u05d9\u05db\u05d5\u05dc\u05d5\u05ea \u05dc\u05d4\u05e9\u05ea\u05de\u05e9 \u05d1\u05de\u05de\u05e9\u05e7 \u05d4\u05ea\u05d5\u05d0\u05dd \u05dc-OpenAI, \u05d9\u05e9\u05e0\u05dd \u05de\u05e7\u05e8\u05d9\u05dd \u05d4\u05d3\u05d5\u05e8\u05e9\u05d9\u05dd <strong>Native Provider Endpoints<\/strong> (\u05e0\u05e7\u05d5\u05d3\u05d5\u05ea \u05e7\u05e6\u05d4 \u05d8\u05d1\u05e2\u05d9\u05d5\u05ea \u05e9\u05dc \u05d4\u05e1\u05e4\u05e7) \u2013 \u05dc\u05d3\u05d5\u05d2\u05de\u05d4, Bedrock-specific APIs, OpenAI Assistants \u05d0\u05d5 \u05db\u05dc\u05d9\u05dd \u05e1\u05e4\u05e6\u05d9\u05e4\u05d9\u05d9\u05dd \u05dc\u05e1\u05e4\u05e7<sup><\/sup>. \u05dc\u05e9\u05dd \u05db\u05da, LiteLLM \u05de\u05e6\u05d9\u05e2 <strong>Pass-Through Endpoints<\/strong>, \u05d4\u05de\u05e2\u05d1\u05d9\u05e8\u05d9\u05dd \u05d1\u05e7\u05e9\u05d5\u05ea \u05d9\u05e9\u05d9\u05e8\u05d5\u05ea \u05d0\u05dc \u05d4-Native APIs \u05e9\u05dc \u05d4\u05e1\u05e4\u05e7 \u05ea\u05d5\u05da \u05db\u05d3\u05d9 \u05d4\u05d7\u05dc\u05ea \u05de\u05e0\u05d2\u05e0\u05d5\u05e0\u05d9 \u05d4\u05d0\u05d9\u05de\u05d5\u05ea (<strong>Authentication<\/strong>), \u05d4-Logging \u05e9\u05dc LiteLLM, \u05d5-(\u05d4\u05d9\u05db\u05df \u05e9\u05e8\u05dc\u05d5\u05d5\u05e0\u05d8\u05d9) \u05ea\u05e7\u05e6\u05d9\u05d1\u05d9\u05dd<sup><\/sup>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-111\">\u05dc\u05de\u05e9\u05dc, \u05e0\u05e7\u05d5\u05d3\u05d5\u05ea \u05e7\u05e6\u05d4 \u05e9\u05dc <strong>Bedrock Pass-Through<\/strong> \u05de\u05d0\u05e4\u05e9\u05e8\u05d5\u05ea \u05dc\u05db\u05dd \u05dc\u05e7\u05e8\u05d5\u05d0 \u05dc-Bedrock \u05d1\u05d0\u05de\u05e6\u05e2\u05d5\u05ea \u05d4\u05e4\u05d5\u05e8\u05de\u05d8 \u05d4\u05d8\u05d1\u05e2\u05d9 \u05e9\u05dc\u05d5, \u05d1\u05d6\u05de\u05df \u05e9-LiteLLM \u05de\u05d8\u05e4\u05dc \u05d1\u05d4\u05e8\u05e9\u05d0\u05d5\u05ea (<strong>Credentials<\/strong>) \u05d5\u05d4\u05e0\u05d9\u05ea\u05d5\u05d1 \u05e9\u05dc AWS<sup><\/sup>. \u05d1\u05d0\u05d5\u05e4\u05df \u05d3\u05d5\u05de\u05d4, \u05d4-<strong>OpenAI Pass-Through Endpoint<\/strong> \u05d9\u05db\u05d5\u05dc \u05dc\u05e9\u05de\u05e9 \u05db-Proxy \u05e2\u05d1\u05d5\u05e8 \u05ea\u05db\u05d5\u05e0\u05d5\u05ea \u05d7\u05d3\u05e9\u05d5\u05ea \u05e9\u05dc OpenAI (\u05db\u05d2\u05d5\u05df Assistants, Threads, Vector Stores \u05d0\u05d5 Responses) \u05d0\u05e4\u05d9\u05dc\u05d5 \u05d1\u05d8\u05e8\u05dd \u05d9\u05e9\u05e0\u05d4 \u05d4\u05e4\u05e9\u05d8\u05d4 \u05d2\u05e0\u05e8\u05d9\u05ea, \u05de\u05d1\u05dc\u05d9 \u05dc\u05d0\u05d1\u05d3 \u05d0\u05ea \u05d4-Observability \u05d4\u05de\u05e8\u05db\u05d6\u05d9<sup><\/sup>.<\/p>\n\n\n\n<div style=\"height:43px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n\n\n\n<h2 class=\"wp-block-heading\">\u05db\u05d9\u05e6\u05d3 \u05d0\u05e0\u05d7\u05e0\u05d5 (ALM Toolbox) \u05d9\u05db\u05d5\u05dc\u05d9\u05dd \u05dc\u05e2\u05d6\u05d5\u05e8 \u05dc\u05db\u05dd \u05e2\u05dd LiteLLM ?<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-112\">LiteLLM \u05d4\u05d5\u05d0 \u05e4\u05ea\u05e8\u05d5\u05df \u05e8\u05d1 \u05e2\u05d5\u05e6\u05de\u05d4, \u05d0\u05da \u05db\u05de\u05d5 \u05db\u05dc Gateway \u05de\u05e8\u05db\u05d6\u05d9 \u05d9\u05e9 \u05dc\u05ea\u05db\u05e0\u05df \u05d5\u05dc\u05e4\u05e8\u05d5\u05e1 \u05d0\u05d5\u05ea\u05d5 \u05d1\u05e7\u05e4\u05d9\u05d3\u05d4: \u05d6\u05de\u05d9\u05e0\u05d5\u05ea \u05d2\u05d1\u05d5\u05d4\u05d4 (<strong>High Availability<\/strong>), \u05d0\u05d1\u05d8\u05d7\u05d4, Observability, \u05d5\u05d0\u05d9\u05e0\u05d8\u05d2\u05e8\u05e6\u05d9\u05d4 \u05dc\u05ea\u05d5\u05da \u05de\u05d7\u05e1\u05e0\u05d9\u05ea \u05d4-<strong>CI\/CD<\/strong> \u05d5\u05d4-<strong>DevSecOps<\/strong> \u05d4\u05e7\u05d9\u05d9\u05de\u05ea \u05e9\u05dc\u05db\u05dd. <br>\u05db\u05e0\u05e6\u05d9\u05d2\u05d9\u05dd \u05d5\u05e9\u05d5\u05ea\u05e4\u05d9\u05dd \u05e8\u05e9\u05de\u05d9\u05d9\u05dd, \u05d0\u05e0\u05d5 (ALM-Toolbox) \u05d9\u05db\u05d5\u05dc\u05d9\u05dd \u05dc\u05e2\u05d6\u05d5\u05e8 \u05dc\u05db\u05dd \u05dc\u05ea\u05db\u05e0\u05df \u05d5\u05dc\u05d4\u05d8\u05de\u05d9\u05e2 \u05d0\u05ea LiteLLM \u05db\u05d7\u05dc\u05e7 \u05de\u05d0\u05e8\u05db\u05d9\u05d8\u05e7\u05d8\u05d5\u05e8\u05ea \u05d4-AI, \u05d4-DevOps \u05d5\u05d4-DevSecOps \u05e9\u05dc\u05db\u05dd.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u05d4\u05e9\u05d9\u05e8\u05d5\u05ea\u05d9\u05dd \u05e9\u05dc\u05e0\u05d5 \u05e1\u05d1\u05d9\u05d1 LiteLLM \u05db\u05d5\u05dc\u05dc\u05d9\u05dd (\u05d1\u05d9\u05df \u05d4\u05d9\u05ea\u05e8):<\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li>\u05d0\u05e8\u05db\u05d9\u05d8\u05e7\u05d8\u05d5\u05e8\u05d4 \u05d5\u05ea\u05db\u05e0\u05d5\u05df \u05e9\u05dc \u05d4-<strong>AI Gateway<\/strong> \u05e9\u05dc\u05db\u05dd \u05d5\u05e9\u05dc \u05d4-LLM governance<\/li>\n\n\n\n<li>\u05d4\u05ea\u05e7\u05e0\u05d4 \u05e9\u05dc LiteLLM \u05d1\u05e1\u05d1\u05d9\u05d1\u05d5\u05ea On-Prem, \u05d1-Private Cloud \u05d0\u05d5 \u05d1\u05e1\u05d1\u05d9\u05d1\u05d5\u05ea \u05de\u05e0\u05d5\u05ea\u05e7\u05d5\u05ea \u05e8\u05e9\u05ea (air-gapped).<\/li>\n\n\n\n<li>\u05d4\u05d2\u05d3\u05e8\u05ea \u05ea\u05e7\u05e6\u05d9\u05d1\u05d9\u05dd, Rate Limits, Guardrails \u05d5\u05de\u05d3\u05d9\u05e0\u05d9\u05d5\u05ea \u05dc\u05e0\u05d9\u05d4\u05d5\u05dc Prompts \u05e9\u05de\u05ea\u05d0\u05d9\u05de\u05d9\u05dd \u05dc\u05d0\u05e8\u05d2\u05d5\u05df \u05e9\u05dc\u05db\u05dd.<\/li>\n\n\n\n<li>\u05d7\u05d9\u05d1\u05d5\u05e8 LiteLLM \u05dc\u05db\u05dc\u05d9 \u05e0\u05d9\u05d8\u05d5\u05e8, Logging \u05d5\u05d0\u05d1\u05d8\u05d7\u05d4 \u05e9\u05db\u05d1\u05e8 \u05d1\u05e9\u05d9\u05de\u05d5\u05e9 \u05d0\u05e6\u05dc\u05db\u05dd (Prometheus, Grafana, SIEM \u05d5\u05db\u05d5').<\/li>\n\n\n\n<li>\u05ea\u05de\u05d9\u05db\u05d4 \u05e9\u05d5\u05d8\u05e4\u05ea, \u05e9\u05d3\u05e8\u05d5\u05d2\u05d9\u05dd \u05d5\u05d4\u05e7\u05e9\u05d7\u05d4 (<strong>Hardening<\/strong>) \u05db\u05db\u05dc \u05e9\u05d4\u05e9\u05d9\u05de\u05d5\u05e9 \u05e9\u05dc\u05db\u05dd \u05d1-GenAI \u05d2\u05d3\u05dc \u05dc\u05d0\u05d5\u05e8\u05da \u05d6\u05de\u05df.<\/li>\n\n\n\n<li>\u05d0\u05d9\u05e0\u05d8\u05d2\u05e8\u05e6\u05d9\u05d4 \u05e2\u05dd GitLab, GitHub, Bitbucket, Azure DevOps \u05d5\u05ea\u05d4\u05dc\u05d9\u05db\u05d9 \u05d4-CI\/CD \u05e9\u05dc\u05db\u05dd.<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-119\">\u05d0\u05dd \u05d0\u05ea\u05dd \u05e9\u05d5\u05e7\u05dc\u05d9\u05dd \u05dc\u05d4\u05e9\u05ea\u05de\u05e9 \u05d1-<strong>LLM \/ AI Gateway<\/strong> \u05e2\u05d1\u05d5\u05e8 \u05d4\u05d0\u05e8\u05d2\u05d5\u05df \u05e9\u05dc\u05db\u05dd, LiteLLM \u05d4\u05d5\u05d0 \u05e4\u05ea\u05e8\u05d5\u05df \u05d2\u05de\u05d9\u05e9 \u05d5\u05e4\u05ea\u05d5\u05d7 <br>\u05d4\u05de\u05e9\u05ea\u05dc\u05d1 \u05d4\u05d9\u05d8\u05d1 \u05e2\u05dd \u05e4\u05e8\u05e7\u05d8\u05d9\u05e7\u05d5\u05ea DevOps \u05d5-DevSecOps \u05de\u05d5\u05d3\u05e8\u05e0\u05d9\u05d5\u05ea.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-119\"> \u05e0\u05e9\u05de\u05d7 \u05dc\u05d3\u05d5\u05df \u05d1-<strong>Use Cases<\/strong> \u05e9\u05dc\u05db\u05dd, \u05dc\u05d4\u05e6\u05d9\u05d2 \u05d4\u05d3\u05d2\u05de\u05d5\u05ea \u05d5\u05dc\u05e2\u05d6\u05d5\u05e8 \u05dc\u05db\u05dd \u05dc\u05d4\u05e2\u05e8\u05d9\u05da \u05d5\u05dc\u05e4\u05e8\u05d5\u05e1 \u05d0\u05ea LiteLLM \u05d1\u05d3\u05e8\u05da \u05e9\u05ea\u05d5\u05d0\u05de\u05ea \u05d0\u05ea \u05d3\u05e8\u05d9\u05e9\u05d5\u05ea \u05d4\u05d0\u05d1\u05d8\u05d7\u05d4, \u05d4\u05ea\u05d0\u05d9\u05de\u05d5\u05ea \u05d5\u05d4\u05ea\u05e7\u05e6\u05d9\u05d1 \u05e9\u05dc\u05db\u05dd.<\/p>\n\n\n\n<p class=\"has-background wp-block-paragraph\" style=\"background-color:#c0e7ff\"><em>\u05dc\u05e7\u05d1\u05dc\u05ea \u05e4\u05e8\u05d8\u05d9\u05dd \u05e0\u05d5\u05e1\u05e4\u05d9\u05dd, \u05e7\u05d1\u05dc\u05ea \u05e8\u05e9\u05d9\u05d5\u05df \u05d4\u05ea\u05e0\u05e1\u05d5\u05ea \u05d0\u05d5 \u05d4\u05e6\u05e2\u05ea \u05de\u05d7\u05d9\u05e8, \u05e0\u05d9\u05ea\u05df \u05dc\u05e4\u05e0\u05d5\u05ea \u05d0\u05dc\u05d9\u05e0\u05d5:<br><a href=\"mailto:litellm@almtoolbox.com\" target=\"_blank\" rel=\"noreferrer noopener\">litellm@almtoolbox.com<\/a> \u05d0\u05d5 \u05d8\u05dc\u05e4\u05d5\u05e0\u05d9\u05ea 072-240-5222 <\/em><\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u05e7\u05d9\u05e9\u05d5\u05e8\u05d9\u05dd \u05e8\u05dc\u05d5\u05d5\u05e0\u05d8\u05d9\u05dd:<\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li><a href=\"https:\/\/www.almtoolbox.com\/blog_he\/we-represent-litellm-gateway-ai\" target=\"_blank\" rel=\"noreferrer noopener\">\u05d0\u05e0\u05d5 \u05de\u05d9\u05d9\u05e6\u05d2\u05d9\u05dd \u05e8\u05e9\u05de\u05d9\u05ea \u05d0\u05ea LiteLLM \u05db\u05e4\u05ea\u05e8\u05d5\u05df AI Gateway<\/a><\/li>\n\n\n\n<li><a href=\"https:\/\/github.com\/BerriAI\/litellm\" target=\"_blank\" rel=\"noreferrer noopener\">\u05d0\u05ea\u05e8 LiteLLM \u05d1- GitHub<\/a><\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\" id=\"p-rc_581b21cd6d785b99-120\"><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u05d1\u05de\u05d0\u05de\u05e8 \u05d6\u05d4 \u05d0\u05e0\u05d5 \u05e6\u05d5\u05dc\u05dc\u05d9\u05dd \u05dc\u05e2\u05d5\u05de\u05e7 \u05d5\u05de\u05e1\u05d1\u05d9\u05e8\u05d9\u05dd \u05d0\u05ea \u05d4\u05d9\u05db\u05d5\u05dc\u05d5\u05ea \u05d4\u05de\u05e8\u05db\u05d6\u05d9\u05d5\u05ea \u05e9\u05dc \u05d4-LiteLLM AI Gateway: \u05de\u05e2\u05e7\u05d1 \u05e2\u05dc\u05d5\u05d9\u05d5\u05ea (Cost Tracking), Batches API, Guardrails, \u05d2\u05d9\u05e9\u05d4 \u05dc\u05de\u05d5\u05d3\u05dc\u05d9\u05dd, \u05ea\u05e7\u05e6\u05d9\u05d1\u05d9\u05dd, LLM Observability, \u05d4\u05d2\u05d1\u05dc\u05ea \u05e7\u05e6\u05d1 (Rate Limiting), \u05e0\u05d9\u05d4\u05d5\u05dc Prompts, \u05e8\u05d9\u05e9\u05d5\u05dd (Logging) \u05dc-S3 \u05d5\u05e0\u05e7\u05d5\u05d3\u05d5\u05ea \u05e7\u05e6\u05d4 \u05e2\u05d5\u05d1\u05e8\u05d5\u05ea (Pass-Through Endpoints) &#8211; \u05d5\u05de\u05d3\u05d5\u05e2 \u05e6\u05d5\u05d5\u05ea\u05d9 DevOps \/ Platform \/ Architecture \u05de\u05d9\u05d9\u05d7\u05e1\u05d9\u05dd \u05dc\u05d4\u05df \u05d7\u05e9\u05d9\u05d1\u05d5\u05ea. \u05db\u05e4\u05d9 \u05e9\u05d4\u05d5\u05d3\u05e2\u05e0\u05d5 \u05dc\u05d0\u05d7\u05e8\u05d5\u05e0\u05d4, \u05d0\u05e0\u05d5 (ALM [&hellip;]<\/p>\n","protected":false},"author":5,"featured_media":13637,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[865,1118],"tags":[1195,1198,1205,1193,1199,1200,1194,1204,1202,1197,1196,1203,1201,1206,1207],"class_list":["post-13836","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-gen-ai","category-litellm","tag-ai-devops","tag-genai-governance","tag-litellm","tag-litellm-ai-gateway","tag-llm-batches-api","tag-llm-budgets","tag-llm-cost-tracking","tag-llm-gateway","tag-llm-guardrails","tag-llm-observability","tag-llm-rate-limiting","tag-openai-compatible-proxy","tag-pass-through-endpoints","tag-prompt-management","tag-s3-logging"],"_links":{"self":[{"href":"https:\/\/www.almtoolbox.com\/blog_he\/wp-json\/wp\/v2\/posts\/13836","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.almtoolbox.com\/blog_he\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.almtoolbox.com\/blog_he\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.almtoolbox.com\/blog_he\/wp-json\/wp\/v2\/users\/5"}],"replies":[{"embeddable":true,"href":"https:\/\/www.almtoolbox.com\/blog_he\/wp-json\/wp\/v2\/comments?post=13836"}],"version-history":[{"count":13,"href":"https:\/\/www.almtoolbox.com\/blog_he\/wp-json\/wp\/v2\/posts\/13836\/revisions"}],"predecessor-version":[{"id":13863,"href":"https:\/\/www.almtoolbox.com\/blog_he\/wp-json\/wp\/v2\/posts\/13836\/revisions\/13863"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.almtoolbox.com\/blog_he\/wp-json\/wp\/v2\/media\/13637"}],"wp:attachment":[{"href":"https:\/\/www.almtoolbox.com\/blog_he\/wp-json\/wp\/v2\/media?parent=13836"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.almtoolbox.com\/blog_he\/wp-json\/wp\/v2\/categories?post=13836"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.almtoolbox.com\/blog_he\/wp-json\/wp\/v2\/tags?post=13836"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}