{"id":2254,"date":"2026-06-18T11:43:38","date_gmt":"2026-06-18T11:43:38","guid":{"rendered":"https:\/\/www.almtoolbox.com\/fr\/blog\/?p=2254"},"modified":"2026-06-22T12:26:36","modified_gmt":"2026-06-22T12:26:36","slug":"litellm-ai-gateway-cost-tracking-guardrails-budgets","status":"publish","type":"post","link":"https:\/\/www.almtoolbox.com\/fr\/blog\/litellm-ai-gateway-cost-tracking-guardrails-budgets\/","title":{"rendered":"LiteLLM AI Gateway : suivi des co\u00fbts, garde-fous, budgets et plus pour g\u00e9rer plus de 100 LLM"},"content":{"rendered":"\n

Dans cet article, nous allons plus loin et expliquons les principales fonctionnalit\u00e9s de la passerelle LiteLLM AI Gateway :
le suivi des co\u00fbts, l’API de traitement par lots (batches), les garde-fous (guardrails), l’acc\u00e8s aux mod\u00e8les, les budgets, l’observabilit\u00e9 des LLM, la limitation du d\u00e9bit (rate limiting), la gestion des prompts, la journalisation S3 (logging) et les points de terminaison pass-through (pass-through endpoints)<\/strong> \u2013
et pourquoi les \u00e9quipes DevOps \/ Plateforme \/ Architecture s’y int\u00e9ressent.<\/p>\n\n\n\n

Comme nous l’avons r\u00e9cemment partag\u00e9, nous (ALM Toolbox) repr\u00e9sentons officiellement LiteLLM<\/strong> en tant que solution de passerelle d’IA (AI Gateway)<\/strong> pour les organisations qui souhaitent utiliser l’IA g\u00e9n\u00e9rative de mani\u00e8re s\u00e9curis\u00e9e et efficace \u00e0 grande \u00e9chelle.<\/p>\n\n\n\n

LiteLLM se positionne devant plus de 100 fournisseurs de LLM<\/strong> (notamment OpenAI, Claude\/Anthropic, Gemini, Amazon Bedrock et des mod\u00e8les locaux\/Ollama) et expose une API unifi\u00e9e compatible avec OpenAI<\/strong> au lieu de multiples SDK sp\u00e9cifiques \u00e0 chaque fournisseur.<\/p>\n\n\n\n

\"passerelle<\/figure>\n\n\n\n
<\/div>\n\n\n\n

Pourquoi avez-vous besoin d’une passerelle d’IA (AI Gateway) aujourd’hui ?<\/h2>\n\n\n\n

Dans de nombreuses organisations, chaque \u00e9quipe commence \u00e0 utiliser l’IA g\u00e9n\u00e9rative de son c\u00f4t\u00e9 : multiples fournisseurs, multiples cl\u00e9s API, aucune visibilit\u00e9 centrale sur les co\u00fbts et quasi-absence de gouvernance sur ce qui est envoy\u00e9 \u00e0 quel mod\u00e8le.<\/p>\n\n\n\n

Cela devient rapidement un probl\u00e8me : les directions financi\u00e8res commencent \u00e0 demander \u00ab qui a d\u00e9pens\u00e9 cet argent dans les LLM ? \u00bb, les \u00e9quipes de s\u00e9curit\u00e9 s’inqui\u00e8tent du partage des donn\u00e9es et des jetons (tokens), et les \u00e9quipes DevOps ont besoin d’un moyen de surveiller et de limiter le d\u00e9bit du trafic.<\/p>\n\n\n\n

LiteLLM r\u00e9sout ce probl\u00e8me en agissant comme une passerelle LLM centralis\u00e9e<\/strong> : toutes les applications appellent le proxy LiteLLM (en utilisant le format OpenAI), et la passerelle achemine ensuite les requ\u00eates vers le bon fournisseur, applique des garde-fous, enregistre tout et impose des limites de co\u00fbts et de d\u00e9bit.<\/p>\n\n\n\n

Cela signifie que vous pouvez standardiser votre organisation sur https:\/\/votre-passerelle-litellm\/<\/code> en tant que point de terminaison unique pour toute l’utilisation des LLM, que ce soit dans le cloud ou dans des environnements auto-h\u00e9berg\u00e9s.<\/p>\n\n\n\n

Qu’est-ce que LiteLLM en quelques mots ?<\/h2>\n\n\n\n

LiteLLM est une passerelle d’IA open source (proxy LLM)<\/strong> qui expose une API compatible avec OpenAI tout en se connectant en coulisses \u00e0 de nombreux fournisseurs de LLM et types de mod\u00e8les diff\u00e9rents.<\/p>\n\n\n\n

Vous pouvez le d\u00e9ployer sous forme de conteneur ou de service (sur site, dans votre cloud priv\u00e9 ou manag\u00e9), d\u00e9finir des r\u00e8gles de routage dans un fichier de configuration, puis fournir \u00e0 vos \u00e9quipes des cl\u00e9s API virtuelles<\/strong> dissoci\u00e9es des cl\u00e9s brutes des fournisseurs.<\/p>\n\n\n\n

Puisque tout<\/em> le trafic passe par LiteLLM, vous b\u00e9n\u00e9ficiez automatiquement d’un suivi centralis\u00e9 des co\u00fbts, de budgets, de limites de d\u00e9bit, d’observabilit\u00e9, de journaux d’audit, de garde-fous et de gestion des prompts<\/strong> \u2013 sans modifier le code de vos applications au-del\u00e0 de l’URL de base et de la cl\u00e9.<\/p>\n\n\n\n

De notre point de vue, c’est similaire \u00e0 ce qu’une passerelle d’API ou un reverse-proxy fait pour les microservices, mais adapt\u00e9 aux besoins uniques de l’IA g\u00e9n\u00e9rative et des LLM.<\/p>\n\n\n\n

1) Suivi des co\u00fbts : voyez enfin qui d\u00e9pense quoi<\/h2>\n\n\n\n

L’un des premiers d\u00e9fis avec l’IA g\u00e9n\u00e9rative est de comprendre les co\u00fbts des LLM par \u00e9quipe, projet et environnement<\/strong>.
LiteLLM sert de proxy pour chaque requ\u00eate et enregistre des informations d\u00e9taill\u00e9es sur les co\u00fbts et l’utilisation des jetons dans une base de donn\u00e9es PostgreSQL, y compris le fournisseur, le mod\u00e8le, le nombre de jetons, le co\u00fbt calcul\u00e9, la cl\u00e9, l’utilisateur, l’\u00e9quipe et les horodatages.<\/p>\n\n\n\n

    \n
  • Suivez les d\u00e9penses par cl\u00e9 \/ utilisateur \/ \u00e9quipe \/ organisation<\/strong> au fil du temps.<\/li>\n\n\n\n
  • Voyez combien chaque mod\u00e8le et fournisseur<\/strong> vous co\u00fbte r\u00e9ellement dans des conditions de charge r\u00e9elles.<\/li>\n\n\n\n
  • Exportez les donn\u00e9es de co\u00fbts vers des outils de BI ou des rapports de refacturation pour les clients internes ou externes.<\/li>\n<\/ul>\n\n\n\n

    LiteLLM expose \u00e9galement des m\u00e9triques Prometheus telles que le co\u00fbt total et l’utilisation des jetons par mod\u00e8le et par cl\u00e9, ce qui vous permet d’ajouter des tableaux de bord Grafana<\/strong> affichant les d\u00e9penses historiques et en temps r\u00e9el pour les LLM, tout comme vous le faites pour l’infrastructure.
    Pour de nombreuses organisations, c’est la premi\u00e8re fois qu’elles obtiennent une visibilit\u00e9 pr\u00e9cise des co\u00fbts par locataire (tenant) pour l’ensemble de leur utilisation de l’IA g\u00e9n\u00e9rative.<\/p>\n\n\n\n

    2) Budgets et niveaux de limitation de d\u00e9bit (Rate Limit Tiers)<\/h2>\n\n\n\n

    En plus du suivi brut, LiteLLM vous permet de d\u00e9finir des budgets et des niveaux de limitation de d\u00e9bit (Rate Limit Tiers)<\/strong> \u2013 des plans r\u00e9utilisables qui limitent la consommation maximale autoris\u00e9e pour chaque cl\u00e9 \/ utilisateur \/ \u00e9quipe.
    Dans la configuration, vous pouvez d\u00e9finir des niveaux avec des limites mensuelles en dollars, des quotas de jetons, des requ\u00eates par minute (RPM) et des jetons par minute (TPM)<\/strong>, puis attribuer des cl\u00e9s virtuelles \u00e0 ces niveaux.<\/p>\n\n\n\n

    Lorsqu’une cl\u00e9 atteint son budget ou son seuil de RPM\/TPM, LiteLLM peut automatiquement bloquer les requ\u00eates suivantes ou renvoyer des r\u00e9ponses standard de limitation de d\u00e9bit, tandis que des m\u00e9triques telles que litellm_rate_limit_remaining<\/code> vous aident \u00e0 surveiller la capacit\u00e9 restante par niveau.
    Cela facilite la mise en \u0153uvre de \u00ab plans \u00bb pour les \u00e9quipes internes ou les clients externes<\/strong> (ex. Gratuit \/ Standard \/ Entreprise), chacun ayant ses propres contraintes de budget et de d\u00e9bit, \u00e0 l’instar des API SaaS.<\/p>\n\n\n\n

    3) Garde-fous (Guardrails) : application centralis\u00e9e de la s\u00e9curit\u00e9 et des politiques<\/h2>\n\n\n\n

    Une autre fonctionnalit\u00e9 majeure r\u00e9side dans les garde-fous (Guardrails)<\/strong> : la capacit\u00e9 d’appliquer des politiques de s\u00e9curit\u00e9, de conformit\u00e9 et de contenu aux invites (prompts) et aux r\u00e9ponses, au sein d’une passerelle unique.
    LiteLLM vous permet de configurer des garde-fous qui s’ex\u00e9cutent avant<\/em> l’envoi d’un prompt (pr\u00e9-appel) et\/ou apr\u00e8s<\/em> la g\u00e9n\u00e9ration d’une r\u00e9ponse (post-appel), afin de bloquer ou de transformer le trafic qui enfreint vos r\u00e8gles.<\/p>\n\n\n\n

    La passerelle peut s’int\u00e9grer \u00e0 des syst\u00e8mes de garde-fous c\u00f4t\u00e9 fournisseur, tels que AWS Bedrock Guardrails<\/strong>, et peut m\u00eame r\u00e9partir la charge des requ\u00eates de garde-fous sur plusieurs d\u00e9ploiements ou comptes pour ne pas d\u00e9passer les limites des fournisseurs.
    Les cas d’usage typiques incluent le blocage des informations personnelles identifiables (PII), l’application de sujets autoris\u00e9s, la d\u00e9sinfection des sorties pour des domaines d’activit\u00e9 sp\u00e9cifiques, ou l’int\u00e9gration de votre propre logique de garde-fous qui s’ex\u00e9cute pour tous les mod\u00e8les<\/em> de mani\u00e8re centralis\u00e9e.<\/p>\n\n\n\n

    4) Acc\u00e8s aux mod\u00e8les et cl\u00e9s virtuelles<\/h2>\n\n\n\n

    LiteLLM introduit le concept de cl\u00e9s API virtuelles<\/strong> associ\u00e9es aux cl\u00e9s des fournisseurs sous-jacents et aux listes de mod\u00e8les, ce qui est tr\u00e8s utile pour le DevOps et la s\u00e9curit\u00e9.
    Au lieu de donner aux d\u00e9veloppeurs des cl\u00e9s OpenAI ou Anthropic directes, vous \u00e9mettez des cl\u00e9s LiteLLM avec des mod\u00e8les autoris\u00e9s<\/strong> et des budgets strictement d\u00e9finis, et vous renouvelez les cl\u00e9s des fournisseurs en arri\u00e8re-plan selon les besoins.<\/p>\n\n\n\n

    Le routage s’effectue via une configuration model_list<\/code> o\u00f9 les noms logiques des mod\u00e8les (par exemple gpt-4<\/code> ou mod\u00e8le-anglais-interne<\/code>) sont associ\u00e9s \u00e0 un ou plusieurs fournisseurs et backends, y compris des LLM cloud et des mod\u00e8les auto-h\u00e9berg\u00e9s\/locaux (par exemple via Ollama ou vLLM).
    Vous pouvez \u00e9galement configurer des m\u00e9canismes de secours (fallbacks) et de r\u00e9partition de charge<\/strong> entre fournisseurs : si un fournisseur est indisponible ou brid\u00e9, LiteLLM peut automatiquement en essayer un autre tout en conservant la m\u00eame interface de style OpenAI pour vos applications.<\/p>\n\n\n\n

    5) Observabilit\u00e9 et surveillance des LLM<\/h2>\n\n\n\n

    L’observabilit\u00e9 est essentielle lorsque vous ex\u00e9cutez des LLM en production, et LiteLLM fournit plusieurs niveaux de surveillance pr\u00eats \u00e0 l’emploi.
    La passerelle expose un point de terminaison \/metrics<\/code> compatible avec Prometheus<\/strong>, fournissant des m\u00e9triques sur le nombre de requ\u00eates, les latences, l’utilisation des jetons, les co\u00fbts totaux et les limites de d\u00e9bit par mod\u00e8le et par cl\u00e9.<\/p>\n\n\n\n

    De plus, LiteLLM \u00e9crit des journaux structur\u00e9s d\u00e9taill\u00e9s et propose des int\u00e9grations avec Langfuse, OpenTelemetry, Datadog, Helicone, Lunary, MLflow et d’autres<\/strong> via des fonctions de rappel (callbacks) et des crochets de journalisation.<\/p>\n\n\n\n

    Cela signifie que vous pouvez tracer les requ\u00eates de bout en bout, les corr\u00e9ler avec les journaux d’application et les m\u00e9triques d’infrastructure, et obtenir une image r\u00e9aliste de la fa\u00e7on dont l’IA g\u00e9n\u00e9rative est utilis\u00e9e dans vos cycles de d\u00e9veloppement (SDLC) et vos syst\u00e8mes de production.<\/p>\n\n\n\n

    6) Journalisation S3 pour la r\u00e9tention \u00e0 long terme<\/h2>\n\n\n\n

    Pour les organisations qui ont besoin d’une conservation \u00e0 long terme ou d’un stockage \u00e0 froid \u00e9conomique des journaux de LLM, LiteLLM prend en charge la journalisation directe vers des compartiments S3 \/ GCS \/ cloud<\/strong> \u00e0 l’aide de callbacks int\u00e9gr\u00e9s.<\/p>\n\n\n\n

    En activant le callback S3 dans litellm_settings<\/code> et en configurant les param\u00e8tres du compartiment, la passerelle s\u00e9rialisera les m\u00e9tadonn\u00e9es de requ\u00eate\/r\u00e9ponse dans des fichiers JSON et les t\u00e9l\u00e9versera dans le compartiment, g\u00e9n\u00e9ralement partitionn\u00e9es par date et par pr\u00e9fixes optionnels (comme l’\u00e9quipe ou l’environnement).<\/p>\n\n\n\n

    Il existe des options pour s\u00e9parer les journaux d’audit<\/strong> (pour la conformit\u00e9) des journaux de requ\u00eates g\u00e9n\u00e9raux et les envoyer vers diff\u00e9rents compartiments ou pr\u00e9fixes, ce qui est tr\u00e8s utile pour les environnements r\u00e9glement\u00e9s.
    Une fois les donn\u00e9es stock\u00e9es, votre \u00e9quipe de donn\u00e9es peut ex\u00e9cuter des analyses dans des outils comme Athena, BigQuery ou Spark sans impacter les syst\u00e8mes de production.<\/p>\n\n\n\n

    7) API de traitement par lots (Batches API) pour les t\u00e2ches \u00e0 grande \u00e9chelle<\/h2>\n\n\n\n

    Certaines charges de travail (par exemple, l’\u00e9valuation de millions d’enregistrements ou l’ex\u00e9cution d’analyses nocturnes) sont plus faciles \u00e0 g\u00e9rer via un traitement par lots (batch processing)<\/strong> plut\u00f4t que par de multiples petits appels synchrones.
    LiteLLM prend en charge une API de traitement par lots (Batches API)<\/strong> similaire \u00e0 celle d’OpenAI, incluant des points de terminaison de type \/v1\/files<\/code> et \/v1\/batches<\/code>, o\u00f9 vous t\u00e9l\u00e9versez un fichier JSONL contenant de nombreuses requ\u00eates et laissez le fournisseur les traiter de mani\u00e8re asynchrone.<\/p>\n\n\n\n

    Sous le capot, LiteLLM peut acheminer ces t\u00e2ches par lots vers des fournisseurs comme vLLM<\/strong> et les API de traitement par lots d’Amazon Bedrock<\/strong>, tout en appliquant les m\u00eames r\u00e8gles de budgets, de limites de d\u00e9bit et de journalisation que pour les compl\u00e9tions de chat classiques.
    C’est l’id\u00e9al pour les \u00e9quipes internes de science des donn\u00e9es qui souhaitent ex\u00e9cuter des t\u00e2ches LLM hors ligne de grande envergure sans contourner les contr\u00f4les de gouvernance et de co\u00fbts.<\/p>\n\n\n\n

    8) Gestion des prompts pour une meilleure qualit\u00e9 et gouvernance<\/h2>\n\n\n\n

    \u00c0 mesure que l’utilisation des LLM se d\u00e9veloppe, les prompts deviennent des actifs qui doivent \u00eatre versionn\u00e9s, partag\u00e9s et gouvern\u00e9s, et pas seulement des cha\u00eenes de caract\u00e8res cod\u00e9es en dur.
    LiteLLM fournit des fonctionnalit\u00e9s de gestion des prompts (Prompt Management)<\/strong> qui vous permettent de stocker des mod\u00e8les de prompts (templates), de les versionner et de les injecter de mani\u00e8re centralis\u00e9e dans les requ\u00eates, plut\u00f4t que de les coder en dur dans chaque microservice.<\/p>\n\n\n\n

    La passerelle peut s’int\u00e9grer aux outils de gestion de prompts existants via des callbacks, et elle expose \u00e9galement une interface de gestion des prompts (Prompt Management UI)<\/strong> o\u00f9 vous pouvez importer des fichiers de prompts (par exemple .prompt<\/code> \/ .dotprompt<\/code>) et accorder \u00e0 des cl\u00e9s sp\u00e9cifiques l’acc\u00e8s aux mod\u00e8les s\u00e9lectionn\u00e9s.
    Cela permet de mettre en place des tests A\/B sur les prompts, de d\u00e9ployer des mises \u00e0 jour de prompts sans red\u00e9ployer les applications, et d’imposer quelles \u00e9quipes peuvent utiliser quels mod\u00e8les de prompts officiels.<\/p>\n\n\n\n

    9) Points de terminaison pass-through : lorsque vous avez besoin des API natives<\/h2>\n\n\n\n

    Bien que la plupart des applications puissent utiliser l’interface compatible OpenAI, certains cas n\u00e9cessitent des points de terminaison natifs des fournisseurs<\/strong> \u2013 par exemple, les API sp\u00e9cifiques \u00e0 Bedrock, les assistants OpenAI ou des outils propres aux fournisseurs.
    Pour cela, LiteLLM propose des points de terminaison pass-through (Pass-Through Endpoints)<\/strong>, qui transf\u00e8rent les requ\u00eates directement vers les API natives du fournisseur tout en appliquant l’authentification, la journalisation et (le cas \u00e9ch\u00e9ant) les budgets de LiteLLM.<\/p>\n\n\n\n

    Par exemple, les points de terminaison pass-through Bedrock<\/strong> vous permettent d’appeler Bedrock via son format natif tandis que LiteLLM g\u00e8re les identifiants AWS et le routage.
    De m\u00eame, le point de terminaison pass-through OpenAI<\/strong> peut servir de proxy pour les nouvelles fonctionnalit\u00e9s d’OpenAI (telles que les Assistants, Threads, Vector Stores ou Responses) avant m\u00eame qu’il n’existe une abstraction g\u00e9n\u00e9rique, sans perdre l’observabilit\u00e9 centralis\u00e9e.<\/p>\n\n\n\n

    Comment nous (ALM Toolbox) pouvons vous aider \u00e0 d\u00e9ployer LiteLLM<\/h2>\n\n\n\n

    LiteLLM is puissant, mais comme toute passerelle centrale, il doit \u00eatre con\u00e7u et d\u00e9ploy\u00e9 avec soin : haute disponibilit\u00e9, s\u00e9curit\u00e9, observabilit\u00e9 et int\u00e9gration dans votre pipeline CI\/CD et DevSecOps existant.
    En tant que repr\u00e9sentant et partenaire officiel, nous (ALM Toolbox) pouvons vous aider \u00e0 planifier et \u00e0 mettre en \u0153uvre LiteLLM dans le cadre de votre architecture d’IA, de DevOps et de DevSecOps.<\/p>\n\n\n\n

    Nos services autour de LiteLLM incluent (entre autres) :<\/p>\n\n\n\n