Utilisez-vous LiteLLM comme passerelle IA d’entreprise (Enterprise AI Gateway) ?
Au cours de la récente période (du 7 septembre au 21 octobre 2026), de nouvelles fonctionnalités ont été ajoutées pour la gestion des agents IA, le routage des modèles, la sécurité MCP et le contrôle des coûts. Cet aperçu couvre les versions v1.101.0 à v1.106.0 — publiée en version stable le 18 octobre — ainsi que les mises à jour correctives associées.
Améliorations de l’Auto Router
Des classificateurs heuristiques et hybrides ont été ajoutés, permettant de sélectionner un niveau de modèle (Model Tier) localement ou de tirer parti d’un LLM selon les besoins. Le routage basé sur les capacités, des pondérations de score configurables, des limites de sortie et des allocations de déploiement pour les équipes dans des fenêtres temporelles définies ont également été introduits.
Ces fonctionnalités élargissent les options pour associer les modèles à des tâches spécifiques et équilibrer la qualité par rapport au coût.
Pour en savoir plus : Qu’est-ce que l’Auto Router dans LiteLLM et comment permet-il de gagner du temps et de l’argent ?
Agents IA et API Decisions
La nouvelle interface SDK, litellm.agent(),
permet d’exécuter Claude Code, Codex, OpenCode et Deep Agents à travers la passerelle.
Les identités Microsoft Entra ID pour les agents, l’authentification déléguée et l’application des autorisations ont également été introduites.
L’API Decisions permet d’envoyer des requêtes Oui/Non, à choix multiples et de notation via des points de terminaison unifiés.
Au cours de cette période, la prise en charge des fournisseurs a été élargie pour inclure Laya, Bespoke Nimble et Databricks.
Les modèles de décision peuvent également être utilisés pour les garde-fous (guardrails) et la classification des requêtes pour l’Auto Router.
Lens pour l’investigation de l’activité des agents
Lens, introduit en version Bêta, ainsi que les fonctionnalités de traces d’agents (Agent Traces), associe les données d’exécution aux coûts en utilisant OpenTelemetry et ClickHouse.
Dans la version 1.106.0, l’ingestion et la gestion des traces ont été déplacées vers un service Rust séparé, auquel les agents envoient directement des données. Des investigations permanentes, l’agrégation des résultats et les retours d’expérience utilisateurs ont également été ajoutés pour aider à détecter et analyser les problèmes d’exécution.
Sécurité MCP et renforcement de la passerelle
La recherche sémantique d’outils (Semantic Tool Search) localise les outils en fonction de leur pertinence et des autorisations.
L’analyse et le masquage des arguments d’outils, les listes d’autorisations de clients et la gestion des sessions ont été ajoutés. Dans la version 1.106, la limitation de débit (rate limiting) a été étendue à toutes les opérations MCP, y compris les limites au niveau du serveur, et le transfert des clés LiteLLM des utilisateurs vers les serveurs backend derrière la passerelle a été bloqué.
De plus, les exigences relatives à la clé principale (Master Key) ont été renforcées, la détection des mots de passe compromis et la révocation des sessions lors de la déconnexion ont été ajoutées, et les serveurs MCP stdio sont désormais désactivés par défaut.
Regardez notre nouvelle vidéo expliquant comment LiteLLM aide à sécuriser un serveur MCP :
Contrôle des coûts et stabilité sous charge
La tarification en heures creuses, les rapports de dépenses d’équipe par utilisateur, les augmentations budgétaires temporaires et une meilleure application sur les répliques et les modèles de secours (fallback models) ont été ajoutés.
La version 1.105.1 a corrigé la perte d’enregistrements de coûts sous forte charge et la journalisation en double pour certaines requêtes volumineuses dans le pipeline Chat-to-Responses. La branche 1.100.x a également reçu des correctifs de réinitialisation de budget et des mises à jour de dépendances. En parallèle, l’OCR natif, le pooling de connexions, Redis et les contrôles d’autoscaling ont été améliorés.
Améliorations de la fiabilité dans la version 1.106.1
La version 1.106.1 inclut des correctifs de comptage de tokens rétroportés de la branche 1.104.4 : les requêtes au format Anthropic destinées à OpenAI et Gemini sont comptées selon la conversion au moment de l’exécution, et le champ litellm_count_source indique si le comptage provient du fournisseur, d’un modèle de comptage ou du système local. De plus, les appels d’outils dans le pipeline Chat-to-Responses ont été corrigés, et les blocs de réflexion signés (signed thinking blocks) sont conservés même lorsque leur contenu textuel est vide.
Les appels d’outils MCP sans préfixe ont également été corrigés lorsque les requêtes sont limitées à un seul serveur, tout comme les erreurs de mise à jour des métadonnées du Vector Store.
Les branches antérieures ont également été mises à jour : la version 1.105.2 inclut des correctifs pour le comptage de tokens, les appels d’outils et la tarification du streaming via des alias de modèles, tandis que la 1.103.6 corrige la gestion des erreurs de connexion Realtime et la journalisation en double des dépenses.
Interface d’administration et nouveaux modèles
Dans la version 1.106, une page d’accueil présentant des résumés d’utilisation et un classement des modèles (Model Leaderboard) a été ajoutée, ainsi qu’une page d’utilisation repensée et un onglet Decisions dans le Playground. Au cours de cette période, le support a également été étendu pour Claude Opus 5.5, Claude Sonnet 5.5, Claude Haiku 5.5, GPT-6 et GPT-6.1 Sol.
Avant de mettre à niveau – Considérations clés :
Avant d’effectuer la mise à niveau, passez en revue les changements majeurs (breaking changes) pertinents pour votre déploiement, en particulier concernant l’authentification, la configuration, la mise en cache, MCP et la migration de Lens vers un service autonome.
Besoin d’aide avec LiteLLM ?
Chez ALM Toolbox, représentants officiels de LiteLLM en Israël, nous proposons des licences Enterprise, du conseil en mise à niveau, de l’implémentation et du support locaux, le renforcement de votre environnement et l’intégration avec des outils complémentaires tels que LangFuse, ClickHouse, les fournisseurs SSO, et plus encore.
Pour plus de détails, contactez-nous : litellm@almtoolbox.com
ou appelez-nous : 01 84 17 53 28
