L’une des fonctionnalités les plus utiles de LiteLLM est de vous aider à économiser de l’argent lors de l’utilisation d’outils et de modèles d’IA, y compris, bien sûr, Claude !
Dans cet article, nous allons vous expliquer comment y parvenir.
Les outils d’IA comme Claude Code comptent parmi les plus grands consommateurs de jetons d’entrée (input tokens) au sein des organisations modernes de développement et d’ingénierie logicielle.
Les boucles d’outils prolongées (loops), les lectures de fichiers volumineux et les catalogues MCP contenant des centaines d’outils poussent chaque requête vers la limite supérieure de la fenêtre de contexte (context window), ce qui fait grimper la facture en conséquence.
Si votre Claude Code est déjà redirigé vers le proxy de LiteLLM
(via la variable ANTHROPIC_BASE_URL),
les administrateurs système disposent de cinq moyens différents pour réduire les coûts.
Aucun d’entre eux ne nécessite de modifications complexes du côté des utilisateurs finaux !
1. Limites budgétaires et mécanismes de repli (Fallback)
Il existe deux options de contrôle centralisées au niveau de la clé virtuelle (virtual key) :
- Limites budgétaires (Budget windows) : elles limitent le montant des dépenses possibles pour le développeur sur une période glissante. Vous pouvez définir un budget maximal
max_budget(en dollars) et une durée budgétairebudget_duration(par exemple, “24h”, “7d”, “30d”, etc.).
Le système LiteLLM réinitialise automatiquement le compteur à la fin de chaque fenêtre de temps.
Il est également possible de cumuler (stacker) plusieurs limites budgétaires, par exemple 10 $ par jour et 100 $ par mois, de sorte qu’un après-midi d’utilisation intensive ne vienne pas épuiser l’intégralité du budget mensuel. - Mécanismes de repli budgétaire (Budget fallbacks) : ils déterminent ce qui se passe lorsque le budget alloué à un modèle spécifique est épuisé.
Au lieu d’afficher une erreur dans le terminal du développeur, vous pouvez définir un budget maximal par modèlemodel_max_budget, ainsi qu’une chaîne de replibudget_fallbacksindiquant vers quels modèles moins chers rediriger la requête.
La requête est alors transférée de manière transparente (silencieusement) vers le premier modèle de repli disposant encore de budget. Par exemple, dès que le développeur a consommé 20 $ pour le modèle Opus dans la journée, les requêtes suivantes pour Opus seront automatiquement et de façon transparente redirigées vers le modèle Sonnet ; si le budget de Sonnet est lui aussi épuisé, le modèle Haiku prendra le relais.
Les modèles de repli sans configuration demodel_max_budgetseront considérés comme ayant un budget illimité.
Qu’est-ce qu’une clé virtuelle (Virtual key) ? Il s’agit d’une clé API virtuelle qui masque la clé API réelle (principale) et sert, entre autres, à améliorer la sécurité des données. Dans LiteLLM, il est possible de configurer de telles clés et, comme mentionné ci-dessus, d’attribuer des paramètres budgétaires spécifiques à chaque clé virtuelle.
2. Système de mise en cache automatique des prompt(Prompt Caching)
Le mécanisme de mise en cache des prompt (prompt cache) de Claude ne coûte qu’environ 10 % du prix d’un nouveau jeton d’entrée (input token) en cas de succès de cache (cache hit), mais cela ne se produit que si la requête marque le message approprié avec cache_control.
La solution de LiteLLM injecte ce marqueur pour vous : configurez cache_control_injection_points pour qu’il pointe vers le message système (system message) ou vers l’avant-dernier tour de l’utilisateur, et chaque appel de Claude Code via le proxy inclura le point de contrôle (checkpoint) sans aucune modification nécessaire du côté client.
L’activation du prompt_caching en tant que vérification avant appel (pre-call check) signifie que si vous exécutez plusieurs déploiements (deployments) du même modèle Claude, le système LiteLLM redirigera intelligemment la requête vers le déploiement spécifique qui a été initialement utilisé pour celle-ci.
3. Compression des prompts (Prompt Compression avec Headroom)
Alors que la mise en cache de prompt(Prompt cache) réduit le préfixe statique (static prefix), la solution Headroom élimine la partie dynamique组合 intérmédiaire.
Les sorties d’outils (tool outputs), les lectures de fichiers, les dumps de bases de données et les charges utiles (payloads) de RAG sont réécrits sous une forme compressée avant d’atteindre le modèle.
Si le modèle a réellement besoin des informations d’origine dans leur intégralité, un appel à l’outil de type retrieve_headroom les récupère à la demande. Les économies signalées atteignent 60 % à 95 % de la portion compressible du trafic de Claude Code.
Le mécanisme Headroom fonctionne comme un conteneur sidecar (sidecar container) aux côtés de LiteLLM.
Il doit être enregistré comme un garde-fou (guardrail) de type pre_call avec l’option default_on: true, ou être associé à des clés virtuelles (virtual keys) au niveau de chaque clé.
Le développeur effectue toujours un export vers ANTHROPIC_BASE_URL et lance claude ; la seule différence qu’il constatera sera un montant réduit sur son rapport de dépenses.
4. Chargement différé des outils MCP (Defer MCP tools)
Une session Claude Code connectée à cinq ou six serveurs MCP peut facilement proposer plusieurs centaines d’outils, et chacun de ces schémas d’outils (tool schemas) est envoyé à chaque appel de tools/list.
Il s’agit d’une surcharge (overhead) pure en jetons d’entrée (input tokens) pour une charge de travail où le modèle n’utilise en réalité que deux ou trois outils par session (turn).
En activant mcp_tool_search_enabled sur la clé virtuelle (virtual key), le système LiteLLM remplace l’intégralité du catalogue par deux outils virtuels : mcp_tool_search et mcp_tool_call. Le modèle effectue une recherche par mots-clés, reçoit en retour des correspondances classées, puis appelle l’outil dont il a besoin. Le coût en jetons (tokens) de la liste d’outils passe ainsi de centaines de schémas (schemas) à seulement deux.
Le classement (Ranking) repose sur la superposition des jetons (tokens) du nom (name) et de la description (description), évitant ainsi toute dépendance à des moteurs d’intégraiton (embedding) externes à exécuter. Le périmètre d’accès ne s’élargit pas ; la recherche renvoie uniquement les outils que la clé (key) a déjà l’autorisation d’appeler.
5. Routage automatique (Auto Routing)
Le principe ici est d’envoyer chaque requête au modèle le plus petit et le plus efficace capable de la traiter, de sorte que les requêtes simples et « bon marché » n’atteignent jamais le modèle lourd et coûteux.
Le système LiteLLM propose trois principaux types de routage :
- Sémantique (correspondance d’embeddings).
- Par complexité (basé sur des règles, sans appels externes).
- Adaptatif (apprentissage à partir du trafic en temps réel, actuellement en version bêta).
Le routeur par complexité (Complexity router) est le plus rapide à configurer. Orientez Claude Code vers smart-router et il classera chaque requête dans le niveau (tier) approprié.
Conclusion : Combiner les leviers pour une efficacité maximale (Stacking the levers)
Ces cinq fonctionnalités se combinent et se complètent les unes les autres :
- Les mécanismes de repli (Fallbacks) basés sur le budget limitent les dépenses globales, quelles que soient les autres mesures prises.
- L’utilisation de points de contrôle de cache d’invites (Prompt cache checkpoints) et de la compression Headroom réduit chaque fois une partie différente de la charge utile (payload) de la requête avant qu’elle ne parvienne au modèle.
- La recherche d’outils MCP élimine la surcharge liée aux schémas d’outils (tool schema) au début de chaque processus.
- Le routage automatique garantit que chaque requête est envoyée au plus petit modèle capable de la traiter avec succès.
Activez-les tous ensemble, et cette même charge de travail dans Claude Code s’exécutera sur une fraction des jetons d’entrée (input tokens) auparavant requis — le tout sans avoir à toucher aux postes de travail individuels de vos équipes de développement.
La société ALM Toolbox est spécialisée dans l’intégration d’outils et de modèles d’IA, ainsi que dans les outils permettant d’optimiser leur utilisation, tels que LiteLLM, LangFuse et bien d’autres.
L’entreprise est également le représentant officiel de LiteLLM en France,Europe et dans d’autres pays.
Pour plus d’informations, contactez-nous par e-mail : litellm@almtoolbox.com ou par téléphone au : +33 1 84 17 53 28
