{"id":2349,"date":"2026-05-12T08:15:00","date_gmt":"2026-05-12T08:15:00","guid":{"rendered":"https:\/\/www.almtoolbox.com\/fr\/blog\/?p=2349"},"modified":"2026-08-31T08:16:51","modified_gmt":"2026-08-31T08:16:51","slug":"litellm-gitlab-duo-ai-gateway","status":"publish","type":"post","link":"https:\/\/www.almtoolbox.com\/fr\/blog\/litellm-gitlab-duo-ai-gateway\/","title":{"rendered":"Comment LiteLLM aide les utilisateurs de GitLab \u00e0 standardiser, s\u00e9curiser et contr\u00f4ler l’usage de l’IA"},"content":{"rendered":"\n

GitLab int\u00e8gre rapidement des fonctionnalit\u00e9s d’IA telles que GitLab Duo, AI Gateway et des flux de CI\/CD bas\u00e9s sur l’IA, mais de nombreuses organisations sont toujours confront\u00e9es \u00e0 une utilisation fragment\u00e9e des mod\u00e8les, \u00e0 des co\u00fbts flous et \u00e0 des pr\u00e9occupations en mati\u00e8re de conformit\u00e9.<\/span><\/p>\n\n\n\n

\n
LiteLLM peut agir comme la couche de \u00ab passerelle IA \u00bb manquante pour GitLab, vous offrant un endroit unique pour standardiser l’acc\u00e8s aux LLM, appliquer la s\u00e9curit\u00e9 et suivre les d\u00e9penses de toutes les \u00e9quipes.

<\/p>\n<\/header>\n

\n

Qu’est-ce que LiteLLM et pourquoi les utilisateurs de GitLab devraient s’y int\u00e9resser<\/h2>\n

LiteLLM est une passerelle et un proxy d’IA open source qui expose une API unique compatible OpenAI devant plus de 100 fournisseurs de LLM et backends auto-h\u00e9berg\u00e9s tels que OpenAI, Azure OpenAI, Anthropic, Amazon Bedrock, Gemini, vLLM et autres.
\nAu lieu de connecter chaque int\u00e9gration GitLab directement au SDK d’un fournisseur sp\u00e9cifique, vous acheminez tout via LiteLLM et le laissez g\u00e9rer les diff\u00e9rences entre fournisseurs, le routage, les journaux et le calcul des co\u00fbts.<\/p>\n

Pour les utilisateurs de GitLab, cela signifie que vous pouvez traiter LiteLLM comme le \u00ab plan de contr\u00f4le \u00bb pour toute utilisation de l’IA provenant de GitLab Duo, de l’AI Gateway et des pipelines CI\/CD de GitLab.
\nVous b\u00e9n\u00e9ficiez d’un point unique pour appliquer des politiques, observer le trafic et modifier les mod\u00e8les sous-jacents sans toucher \u00e0 vos jobs GitLab ou \u00e0 votre configuration Duo.<\/p>\n<\/section>\n

\n

Architecture : LiteLLM comme passerelle IA pour GitLab<\/h2>\n

Les sc\u00e9narios GitLab Duo Self-Hosted et de \u00ab bring your own model \u00bb (BYOM) reposent sur un composant AI Gateway qui communique avec les fournisseurs de LLM via une API de style OpenAI, y compris les mod\u00e8les auto-h\u00e9berg\u00e9s ou priv\u00e9s expos\u00e9s via des points de terminaison compatibles.
\nLa documentation de GitLab indique explicitement que l’AI Gateway peut prendre en charge plusieurs plateformes de LLM via LiteLLM, ce qui fait de LiteLLM un choix naturel comme passerelle derri\u00e8re Duo pour les environnements auto-g\u00e9r\u00e9s et isol\u00e9s (air-gapped).<\/p>\n

\u00c0 haut niveau, l’architecture ressemble \u00e0 ceci :<\/p>\n

    \n
  • GitLab (fonctionnalit\u00e9s Duo, Chat, suggestions de code, Workflows) envoie des requ\u00eates d’IA \u00e0 l’AI Gateway.<\/li>\n
  • L’AI Gateway transmet ces appels \u00e0 LiteLLM via un point de terminaison compatible OpenAI.<\/li>\n
  • LiteLLM achemine l’appel vers le fournisseur de votre choix ou le mod\u00e8le auto-h\u00e9berg\u00e9, enregistre l’utilisation et le co\u00fbt, et renvoie la r\u00e9ponse \u00e0 GitLab.<\/li>\n<\/ul>\n

    Le m\u00eame point de terminaison LiteLLM peut \u00e9galement \u00eatre appel\u00e9 \u00e0 partir des jobs GitLab CI, d’outils internes et d’autres services, ce qui vous permet de standardiser l’acc\u00e8s \u00e0 l’IA sur l’ensemble de votre cha\u00eene d’outils centr\u00e9e sur GitLab.<\/p>\n<\/section>\n

    \n

    Cas d’usage 1 : Apportez vos propres mod\u00e8les pour GitLab Duo<\/h3>\n

    GitLab Duo Self-Hosted vous permet de connecter GitLab \u00e0 des mod\u00e8les auto-g\u00e9r\u00e9s (par exemple, des d\u00e9ploiements sur site ou sur cloud priv\u00e9) via l’AI Gateway et la configuration \u00ab mod\u00e8les auto-h\u00e9berg\u00e9s \u00bb.
    \nCes mod\u00e8les doivent \u00eatre expos\u00e9s via une API compatible OpenAI, ce qui est exactement ce que propose LiteLLM au-dessus de diff\u00e9rents backends comme vLLM, Ollama ou des fournisseurs cloud.<\/p>\n

    Un sch\u00e9ma courant pour les clients de GitLab est le suivant :<\/p>\n

      \n
    • Ex\u00e9cuter LiteLLM comme proxy au sein de Kubernetes ou sur une VM \u00e0 c\u00f4t\u00e9 de GitLab.<\/li>\n
    • Configurer plusieurs backends dans litellm_config.yaml<\/code> \u2013 par exemple, un mod\u00e8le cloud puissant pour le chat, un mod\u00e8le de code local rapide pour la compl\u00e9tion, et un mod\u00e8le plus petit pour les donn\u00e9es hautement r\u00e9glement\u00e9es.<\/li>\n
    • Exposer chaque backend sous un nom de \u00ab mod\u00e8le \u00bb compatible OpenAI via LiteLLM.<\/li>\n
    • Enregistrer ces mod\u00e8les dans GitLab en tant que mod\u00e8les auto-h\u00e9berg\u00e9s ou compatibles et les affecter aux fonctionnalit\u00e9s Duo (Chat, suggestions de code, Expliquer ce code, etc.).<\/li>\n<\/ul>\n

      L’avantage : GitLab a seulement besoin de conna\u00eetre le point de terminaison de LiteLLM et les noms de mod\u00e8les, tandis que votre \u00e9quipe plateforme reste libre de changer de fournisseur, de d\u00e9placer les charges de travail d’un cluster \u00e0 l’autre ou d’ajouter de nouveaux mod\u00e8les derri\u00e8re LiteLLM sans modifier les param\u00e8tres Duo ou le code de l’application.<\/p>\n<\/section>\n

      \n

      Cas d’usage 2 : Suivi des co\u00fbts et de l’utilisation pour GitLab AI<\/h3>\n

      L’une des fonctionnalit\u00e9s les plus puissantes de LiteLLM est le suivi int\u00e9gr\u00e9 de l’utilisation et des co\u00fbts, utilisant une base de donn\u00e9es PostgreSQL et une interface utilisateur Web pour analyser les d\u00e9penses par fournisseur, mod\u00e8le, utilisateur, cl\u00e9 API ou \u00e9tiquettes personnalis\u00e9es.
      \nLiteLLM calcule le co\u00fbt par requ\u00eate en utilisant la consommation de jetons renvoy\u00e9e par les fournisseurs et le stocke avec des m\u00e9tadonn\u00e9es riches dans sa table LiteLLM_SpendLogs<\/code> et les tables associ\u00e9es.<\/p>\n

      Pour GitLab, cela permet des sc\u00e9narios pratiques de FinOps :<\/p>\n

        \n
      • Marquer chaque requ\u00eate de GitLab avec des m\u00e9tadonn\u00e9es telles que le groupe, le projet, le nom du job CI ou l’environnement.
        \nCela vous permet de r\u00e9pondre \u00e0 des questions telles que \u00ab quels groupes GitLab g\u00e9n\u00e8rent le plus de d\u00e9penses Duo ? \u00bb ou \u00ab combien co\u00fbtent nos jobs CI bas\u00e9s sur l’IA par mois ? \u00bb.<\/li>\n
      • Utiliser les cl\u00e9s API virtuelles, les organisations et les budgets de LiteLLM pour d\u00e9finir des limites de d\u00e9penses strictes ou flexibles par \u00e9quipe, par environnement ou par int\u00e9gration (par exemple, des cl\u00e9s distinctes pour les GitLab Runners de pr\u00e9-production et de production).<\/li>\n
      • Explorer l’utilisation dans l’interface Web de LiteLLM \u00e0 l’adresse \/ui<\/code> ou via ses API (par exemple \/user\/daily\/activity<\/code>) pour suivre les tendances dans le temps et d\u00e9tecter les anomalies ou les pics de co\u00fbts.<\/li>\n<\/ul>\n

        Combin\u00e9 aux informations d’utilisation propres \u00e0 GitLab et \u00e0 la diffusion d’\u00e9v\u00e9nements d’audit, LiteLLM vous donne une image beaucoup plus claire des co\u00fbts r\u00e9els de l’IA dans l’ensemble de GitLab que les seuls tableaux de bord des fournisseurs.<\/p>\n<\/section>\n

        \n

        Cas d’usage 3 : Pipelines CI\/CD bas\u00e9s sur l’IA sans d\u00e9pendance fournisseur<\/h3>\n

        Parce que LiteLLM expose une API compatible OpenAI, n’importe quel job CI sachant comment appeler l’API OpenAI peut imm\u00e9diatement fonctionner avec tous les mod\u00e8les que vous acheminez via LiteLLM, y compris vLLM auto-h\u00e9berg\u00e9 ou des fournisseurs cloud.
        \nEn pratique, cela signifie qu’un mod\u00e8le .gitlab-ci.yml<\/code> unique et r\u00e9utilisable peut survivre aux changements de fournisseurs pendant des ann\u00e9es : vous mettez \u00e0 jour uniquement la configuration de LiteLLM, et non tous vos pipelines.<\/p>\n

        Exemple : Job de revue d’IA dans GitLab CI<\/h3>\n

        Voici un exemple simplifi\u00e9 d’un job GitLab CI qui envoie des diffs \u00e0 LiteLLM pour un commentaire de \u00ab revue par l’IA \u00bb, en utilisant des variables d’environnement pour l’URL de base et la cl\u00e9 de LiteLLM :<\/p>\n

        ai_review:\n  image: python:3.12-slim\n  stage: test\n  variables:\n    OPENAI_API_BASE: \"https:\/\/litellm.internal\/v1\"\n    OPENAI_API_KEY: \"${LITELLM_VIRTUAL_KEY}\"\n    MODEL_NAME: \"gpt-4-enterprise\"  # Logical model name exposed by LiteLLM\n  script:\n    - pip install openai==1.30.0\n    - git diff HEAD~1 HEAD > diff.patch\n    - python scripts\/ai_review.py diff.patch\n  rules:\n    - if: '$CI_MERGE_REQUEST_IID'<\/code><\/pre>\n
        Dans scripts\/ai_review.py<\/code>, vous utilisez le client OpenAI standard, et vous pourrez plus tard changer de mod\u00e8le sous-jacent (par exemple, pour un d\u00e9ploiement auto-h\u00e9berg\u00e9 de Codestral ou Llama) simplement en modifiant la configuration de LiteLLM, sans toucher \u00e0 ce job.
        \nLe m\u00eame mod\u00e8le fonctionne pour g\u00e9n\u00e9rer des donn\u00e9es de test, r\u00e9sumer des notes de version, refactoriser des extraits de code et bien d’autres \u00e9tapes de pipeline optimis\u00e9es par l’IA.<\/p>\n<\/section>\n
        \n
        Cas d’usage 4 : Environnements GitLab isol\u00e9s et r\u00e9glement\u00e9s<\/h3>\n
        De nombreux clients de GitLab (notamment dans le secteur public, la d\u00e9fense, la sant\u00e9 et la finance) exploitent GitLab en mode auto-g\u00e9r\u00e9 dans des r\u00e9seaux isol\u00e9s (air-gapped) ou sous des r\u00e8gles de r\u00e9sidence des donn\u00e9es tr\u00e8s strictes.
        \nGitLab Duo Self-Hosted et l’AI Gateway sont con\u00e7us pour prendre en charge ces cas en communiquant uniquement avec des points de terminaison internes ou priv\u00e9s que vous contr\u00f4lez.<\/p>\n
        LiteLLM peut \u00eatre d\u00e9ploy\u00e9 enti\u00e8rement au sein du m\u00eame r\u00e9seau restreint, acheminant les requ\u00eates vers des serveurs de mod\u00e8les auto-h\u00e9berg\u00e9s et exposant un point de terminaison local compatible OpenAI qui n’atteint jamais l’internet public.
        \nGitLab voit uniquement l’URL de l’AI Gateway, que vous faites pointer vers LiteLLM ; \u00e0 partir de l\u00e0, votre \u00e9quipe de plateforme d\u00e9cide des mod\u00e8les autoris\u00e9s, de l’endroit o\u00f9 ils s’ex\u00e9cutent et des projets ou groupes qui peuvent y acc\u00e9der.<\/p>\n
        Cette architecture vous permet de :<\/p>\n