Eine der wertvollsten Funktionen von LiteLLM besteht darin, Unternehmen dabei zu helfen, Kosten beim Betrieb von KI-Tools und -Modellen zu senken – natürlich auch für Claude!
In diesem Artikel erklären wir Ihnen genau, wie Sie dies erreichen können.
KI-Agenten und CLI-Tools wie Claude Code gehören zu den größten Verbrauchern von Input-Token in modernen Softwareentwicklungs- und Engineering-Organisationen.
Lange Tool-Schleifen, umfangreiches Lesen von Dateien und riesige MCP-Kataloge (Model Context Protocol) mit Hunderten von Tools treiben jede Anfrage schnell an die Obergrenze des Kontextfensters, was die API-Kosten in die Höhe schnellen lässt.
Wenn Ihr Claude Code bereits über einen LiteLLM-Proxy (über die Umgebungsvariable ANTHROPIC_BASE_URL) geleitet wird, haben Systemadministratoren fünf hochwirksame Hebel, um die Kosten drastisch zu senken.
Das Beste daran ist, dass keine dieser Methoden komplexe Änderungen auf der Endbenutzer- oder Entwicklerseite erfordert!
Dieser Artikel basiert auf einem Beitrag, der ursprünglich von LiteLLM veröffentlicht wurde. Wir haben einige technische Details vereinfacht, einen breiteren Kontext hinzugefügt und den Inhalt zur besseren Verständlichkeit aktualisiert.
1. Budgetgrenzen und Fallback-Mechanismen
Auf der Ebene der virtuellen Schlüssel stehen zwei zentrale Steuerungsoptionen zur Verfügung:
- Budget-Zeitfenster (Budget windows): Diese begrenzen den maximalen Dollarbetrag, den ein Entwickler innerhalb eines fortlaufenden Zeitraums ausgeben kann. Sie können
max_budget(in USD) undbudget_duration(z. B. „24h“, „7d“, „30d“) definieren. Der LiteLLM-Proxy setzt den Zähler am Ende jedes Zeitraums automatisch zurück. Sie können auch mehrere überlappende Budgets kombinieren – beispielsweise ein tägliches Limit von 10 $ zusammen mit einem monatlichen Limit von 100 $ –, um sicherzustellen, dass ein einziger Nachmittag intensiver Experimente nicht das gesamte Monatsbudget aufbraucht. - Budget-Fallbacks: Diese bestimmen, was passiert, wenn das zugewiesene Budget eines Modells erschöpft ist. Anstatt einen Fehler im Terminal des Entwicklers auszugeben, können Sie für jedes Modell ein
model_max_budgetfestlegen, gepaart mit einerbudget_fallbacks-Kette, um Anfragen an günstigere Alternativen weiterzuleiten. Die Anfrage wird geräuschlos an das erste Fallback-Modell mit verbleibendem Budget umgeleitet. Wenn beispielsweise ein Entwickler sein tägliches Limit von 20 $ für Claude 3 Opus ausschöpft, werden nachfolgende Opus-Anfragen transparent an Claude 3.5 Sonnet weitergeleitet. Wenn auch das Budget von Sonnet aufgebraucht ist, erfolgt ein Fallback auf Claude 3.5 Haiku. Fallback-Modelle ohne definiertes Budgetlimit werden als unbegrenzt behandelt.
Was ist ein virtueller Schlüssel? Ein virtueller Schlüssel (Virtual Key) ist ein von LiteLLM generierter API-Schlüssel, der Ihre Master-Anbieterschlüssel maskiert und so die Sicherheit erhöht. Wie oben beschrieben, können Sie jedem virtuellen Schlüssel individuell eigene Budgetregeln, Ratenbegrenzungen und Tracking zuweisen.
2. Automatisches Prompt-Caching
Der Prompt-Caching-Mechanismus von Claude reduziert die Kosten für Input-Token bei einem Cache-Treffer um bis zu 90 %, wird jedoch nur ausgelöst, wenn die Anfrage die korrekten Nachrichten explizit mit cache_control kennzeichnet.
LiteLLM löst dies, indem es automatisch Cache-Markierungen für Sie einfügt. Durch die Einrichtung von cache_control_injection_points, die auf die Systemnachricht (oder den vorletzten Zug des Benutzers) abzielen, nutzt jeder Claude Code-API-Aufruf, der den Proxy durchläuft, automatisch das Prompt-Caching, ohne dass clientseitige Änderungen erforderlich sind.
Darüber hinaus bedeutet die Aktivierung von prompt_caching als Pre-Call-Prüfung, dass LiteLLM die Anfrage intelligent an den spezifischen Endpunkt weiterleitet, der den Prompt ursprünglich zwischengespeichert hat, wenn Sie mehrere Deployments desselben Claude-Modells betreiben.
3. Prompt-Komprimierung mit Headroom
Während das Prompt-Caching den statischen Präfix Ihrer Prompts verarbeitet, trimmt die Headroom-Komprimierungslösung den dynamischen Inhalt in der Mitte.
Tool-Ausgaben, gelesene Dateien, Datenbank-Dumps und RAG-Payloads werden neu geschrieben und in eine hochkomprimierte Form gebracht, bevor sie das Modell erreichen.
Wenn das Modell die vollständigen, detaillierten Originaldaten benötigt, kann es ein retrieve_headroom-Tool aufrufen, um diese bei Bedarf abzurufen. Dieser Ansatz führt in der Regel zu Einsparungen von 60 % bis 95 % im komprimierbaren Teil Ihres Claude Code-Traffics.
Der Headroom-Mechanismus läuft als Sidecar-Container neben LiteLLM. Sie können ihn als pre_call-Guardrail mit default_on: true registrieren oder bestimmten virtuellen Schlüsseln zuweisen.
Der Entwickler exportiert weiterhin die ANTHROPIC_BASE_URL und führt claude wie gewohnt aus – die einzige Änderung, die er bemerken wird, ist eine deutlich niedrigere Rechnung.
4. Aufschieben von MCP-Tools (Deferring MCP Tools)
Eine Claude Code-Sitzung, die mit fünf oder sechs MCP-Servern verbunden ist, kann leicht Hunderte von Tools bereitstellen, was bei jedem einzelnen tools/list-Aufruf massive Tool-Schemas überträgt.
Dies verursacht einen erheblichen Input-Token-Overhead, insbesondere wenn das Modell während der gesamten Sitzung tatsächlich nur zwei oder drei Tools verwendet.
Durch die Aktivierung von mcp_tool_search_enabled auf dem virtuellen Schlüssel ersetzt LiteLLM den riesigen vollständigen Katalog durch nur zwei virtuelle Tools: mcp_tool_search und mcp_tool_call. Das Modell sucht über Keywords nach Tools, erhält bewertete Treffer und lädt dynamisch nur die Tools, die es benötigt. Dadurch sinkt der Token-Overhead für Tool-Schemas von Hunderten von Schemas auf nur noch zwei.
Das Ranking wird basierend auf dem Token-Overlap in Name und Beschreibung berechnet, wodurch keine externen Embedding-Engines erforderlich sind. Die Sicherheit bleibt gewahrt, da die Suche nur Tools zurückgibt, für die der virtuelle Schlüssel zugriffsberechtigt ist.
5. Automatisches Routing (Auto Routing)
Die Strategie hierbei besteht darin, jeden Prompt automatisch an das kleinste und kostengünstigste Modell weiterzuleiten, das ihn erfolgreich verarbeiten kann. So wird sichergestellt, dass Sie keine teuren Modell-Token für triviale Abfragen verschwenden.
LiteLLM bietet drei primäre Routing-Typen:
- Semantisch (auf Embeddings basierendes Matching).
- Komplexität (regelbasiert, erfordert keine externe Latenz).
- Adaptiv (Echtzeit-Traffic-Lernen, derzeit in der Beta-Phase).
Der Complexity Router lässt sich am schnellsten einrichten. Verweisen Sie Claude Code einfach auf Ihren smart-router, und dieser wird jede eingehende Anfrage automatisch klassifizieren und an die am besten geeignete Stufe weiterleiten.
Zusammenfassung: Kombination der Hebel für maximale Effizienz
Diese five Optimierungsfunktionen wirken synergetisch zusammen:
- Budgetbasierte Fallbacks begrenzen Ihr finanzielles Gesamtrisiko.
- Prompt-Caching und Headroom-Komprimierung optimieren verschiedene Teile der Request-Payload, bevor diese die API erreicht.
- Die MCP-Tool-Suche eliminiert den Token-Overhead für Tool-Schemas zu Beginn jeder Runde.
- Auto-Routing stellt sicher, dass einfache Aufgaben immer vom günstigsten fähigen Modell verarbeitet werden.
Durch die Kombination dieser Methoden laufen exakt dieselben Claude Code-Entwickler-Workflows zu einem Bruchteil der Kosten – und das alles zentral verwaltet, ohne dass eine einzige lokale Entwicklungsmaschine angefasst werden muss.
ALM Toolbox ist spezialisiert auf die Implementierung, Optimierung und Härtung von KI-Modellen und -Tools, einschließlich LiteLLM, Langfuse und mehr.
Wir vertreten das Unternehmen LiteLLM offiziell und bieten Beratung, Enterprise-Lizenzen, Support, Schulungen und mehr.
Für weitere Details oder Enterprise-Anfragen kontaktieren Sie uns unter: litellm@almtoolbox.com
oder rufen Sie uns an: 866-503-1471 (USA & Kanada) oder +31 85 064 4633 (International)
