Category: Gen AI

Aperçu : Milestone AI 

Jean-Michel BonnetLeave a comment

Milestone est une plateforme d’intelligence technique axée sur la transformation de l’activité réelle de développement en un système d’enregistrement pour l’adoption de la GenAI, la productivité et la qualité du code, plutôt que de simplement compter les licences ou les jetons. Elle se connecte à vos dépôts (repos) et outils, attribue le code assisté par IA, puis l’expose à travers des domaines de produits tels que Vibe Metrics, l’Adoption et l’Usage de la GenAI, la Qualité de la GenAI et la Productivité de la GenAI.

Aperçu de la plateforme

Milestone intègre principalement des données provenant de systèmes Git, d’outils de gestion de produits ou de tickets comme Jira, et d’outils de codage IA tels que Cursor pour créer un lac de données d’ingénierie (data lake). Elle reconstruit le travail à partir des commits et des pull requests, corrèle ces informations avec la télémétrie de la GenAI, et affiche des tableaux de bord sur les performances techniques, l’investissement dans les dépôts et les métriques de développement assisté par IA.

La plateforme est disponible à la fois en SaaS et en déploiement sur site (on-premise), où toutes les données brutes peuvent rester au sein de votre propre infrastructure pour répondre à des exigences strictes en matière de résidence et de sécurité des données. Dans tous les modes de déploiement, Milestone positionne la base de code comme source unique de vérité et superpose l’attribution de l’IA aux métriques conventionnelles de flux et de qualité.

Regarder une démo (2 min) :

Vibe Metrics

Vibe Metrics est la couche flexible de métriques et d’analyses de Milestone qui permet aux responsables de définir et d’explorer des KPI d’ingénierie personnalisés en langage naturel, au lieu d’écrire du SQL ou de créer des rapports sur mesure. Vous pouvez poser des questions en langage naturel, laisser l’assistant IA résumer les tendances, puis transformer ces réponses en tableaux de bord réutilisables axés sur la productivité, la vitesse de livraison, l’impact de la GenAI ou le ROI.

Les responsables de l’ingénierie peuvent combiner plusieurs signaux – par exemple, « dépenses d’IA par rapport aux fonctionnalités livrées par équipe » ou « PR impactées par l’IA par rapport au taux de modification post-révision » – et publier ces vues auprès de différents publics directement depuis l’interface utilisateur. L’objectif est de faire de Milestone un espace de travail IA interactif appliqué aux données d’ingénierie, où les questions, les métriques et les récits coexistent au même endroit.

Adoption et Usage de la GenAI

Le module Adoption et Usage de la GenAI s’attache à prouver l’engagement réel de l’IA à partir du code, et non à partir des seules licences ou des flux d’événements de l’IDE. Milestone fait la distinction entre les développeurs qui ont simplement accès aux outils d’IA et ceux qui contribuent réellement au code assisté par l’IA, en affichant les contributeurs actifs et les tendances de stabilisation au fil du temps.

Sous le capot, il reconstruit le travail au niveau des commits individuels et des PR, en séparant les contributions de l’IA à la logique de production principale des domaines à moindres enjeux comme le code standard (boilerplate) ou les tests, et en attribuant ces contributions à des outils spécifiques. Une PR est généralement marquée comme impactée par l’IA lorsqu’au moins 30 % de ses commits affichent une implication de l’IA, et les clients peuvent auditer cela au niveau du commit.

Le module segmente également les ingénieurs par maturité comportementale en fonction des changements réels impactés par l’IA, ce qui permet d’identifier les domaines où l’IA est intégrée dans la pratique quotidienne de ceux où l’utilisation reste expérimentale. Milestone visualise le « coin d’impact de l’IA » au fil du temps – la part des commits influencés par l’IA par rapport au codage traditionnel – facilitant ainsi la visualisation de la profondeur avec laquelle la GenAI façonne à nouveau la base de code.

Qualité de la GenAI

La qualité de la GenAI se concentre sur le comportement du code assisté par IA après sa révision et au fil du temps dans les branches de production. Une métrique centrale est le taux de modification post-révision (Post-Review Change Rate), qui suit la fréquence à laquelle le code continue de changer après approbation formelle, fournissant un indicateur de la stabilité réelle ou de l’état de préparation à la révision du code généré par IA.

Milestone suit également des signaux sur la profondeur de la révision, tels que la densité des commentaires et le nombre de cycles de révision, aidant ainsi les responsables à s’assurer que les révisions ne deviennent pas de simples formalités à mesure que le volume assisté par l’IA augmente. Elle compare des outils d’IA comme GitHub Copilot, Cursor et Claude Code à des références humaines à travers des métriques telles que la taille moyenne des PR, le taux de fusion du premier coup et la réécriture post-approbation (churn), pour montrer quels outils améliorent les résultats et lesquels introduisent des corrections supplémentaires.

Le produit met également en évidence les domaines dans lesquels l’IA apporte une réelle valeur qualitative – par exemple, son impact sur la couverture de tests, ou la manière dont la longévité du code impacté par l’IA se compare au code non-IA comme indicateur de robustesse. L’objectif est de remplacer les enquêtes subjectives sur la « qualité de l’IA » par des données objectives dérivées directement de l’historique des dépôts.

Productivité de la GenAI

La productivité de la GenAI mesure la manière dont l’IA modifie la vitesse et le flux de livraison en s’appuyant sur la reconstruction des tâches finalisées depuis vos dépôts. Milestone reconstruit le parcours complet, de la première modification du code à sa fusion en passant par la révision, puis compare étape par étape le travail assisté par l’IA et le travail non assisté afin de révéler où les outils accélèrent le processus ou introduisent des frictions invisibles.

Elle compare les écarts de temps de cycle entre les PR impactées par l’IA et les PR traditionnelles, en séparant le temps de codage du temps de révision pour révéler des schémas, comme un codage plus rapide mais de petites PR générées par IA qui prennent plus de temps à être révisées. Milestone regroupe également les PR par taille pour voir là où l’IA est la plus utile – par exemple, si le travail co-piloté sur de petites PR passe comme une lettre à la poste, alors que les grands changements assistés par l’IA piétinent lors de la révision.

Parce qu’il utilise des artefacts de dépôt et les éléments de travail associés plutôt que des journaux d’IDE ou le nombre de licences, ce module se positionne comme un moyen de quantifier le ROI en termes de délai d’exécution, de débit et d’indicateurs d’échec de changement, plutôt qu’en consommation de jetons (tokens).

Outils et modèles GenAI pris en charge

Milestone est indépendante des fournisseurs et peut suivre plusieurs outils d’IA simultanément, en corrélant leur télémétrie avec les événements Git. Les documents officiels et les démos mentionnent explicitement la prise en charge de GitHub Copilot, Cursor, Qodo et Windsurf pour les scénarios de codage et de révision.

Milestone corrèle les chronologies Git avec la télémétrie de Copilot, Cursor, Claude, Bedrock et d’autres, y compris des analyses au niveau des modèles comme le nombre de PR fusionnées ayant été influencées par Sonnet 4.5.
Elle suit l’utilisation et l’impact de modèles comme GPT-5 ou Claude, impliquant ainsi la couverture des outils soutenus par OpenAI et des assistants de codage basés sur Claude, là où les API des fournisseurs exposent des signaux suffisants.

En pratique, cela signifie que Milestone peut mesurer l’adoption, la qualité et la productivité d’outils tels que GitHub Copilot, Cursor, Windsurf, Qodo, Claude / Claude Code, ainsi que des services GenAI fournis via des plateformes comme Amazon Bedrock, en plus d’autres exposés à travers leur couche d’intégration API GenAI.

Qu’est-ce qui rend Milestone AI unique ?

Deux aspects principaux se distinguent dans le positionnement de Milestone :

Premièrement, elle insiste sur l’utilisation de la base de code comme système d’enregistrement : l’impact de l’IA est reconstruit ligne par ligne et commit par commit, puis superposé aux métriques d’ingénierie, au lieu d’être déduit de journaux de réflexion, de comptages de jetons ou d’enquêtes. Cela permet à Milestone de répondre à des questions telles que la modification par l’IA de la logique de production ou simplement des tests et du code standard, et de vérifier si les PR impactées par l’IA sont réellement plus rapides et plus stables, avec des preuves tangibles au niveau des artefacts.

Deuxièmement, Milestone se concentre sur l’association de l’utilisation de l’IA aux résultats en matière de productivité et de qualité en un seul endroit – adoption, métriques de flux et stabilité de la base de code – et ce, pour plusieurs outils à la fois. Des fonctionnalités comme Vibe Metrics et l’analyse comparative intégrée permettent aux responsables de poser des questions stratégiques et d’obtenir des visuels ainsi que des synthèses prêts à être présentés aux directions, sans avoir à concevoir leur propre infrastructure analytique.

Combinée à la prise en charge d’un déploiement SaaS ou sur site et à une attribution au niveau du commit qui peut être auditée, Milestone se positionne efficacement comme une couche de gouvernance et de ROI de la GenAI pour les équipes techniques qui souhaitent des preuves neutres et fondées sur le code, plutôt que de simples tableaux de bord fournis par les outils eux-mêmes.

LiteLLM AI Gateway : suivi des coûts, garde-fous, budgets et plus pour gérer plus de 100 LLM

Jean-Michel BonnetLeave a comment

Dans cet article, nous allons plus loin et expliquons les principales fonctionnalités de la passerelle LiteLLM AI Gateway :
le suivi des coûts, l’API de traitement par lots (batches), les garde-fous (guardrails), l’accès aux modèles, les budgets, l’observabilité des LLM, la limitation du débit (rate limiting), la gestion des prompts, la journalisation S3 (logging) et les points de terminaison pass-through (pass-through endpoints) –
et pourquoi les équipes DevOps / Plateforme / Architecture s’y intéressent.

Comme nous l’avons récemment partagé, nous (ALM Toolbox) représentons officiellement LiteLLM en tant que solution de passerelle d’IA (AI Gateway) pour les organisations qui souhaitent utiliser l’IA générative de manière sécurisée et efficace à grande échelle.

LiteLLM se positionne devant plus de 100 fournisseurs de LLM (notamment OpenAI, Claude/Anthropic, Gemini, Amazon Bedrock et des modèles locaux/Ollama) et expose une API unifiée compatible avec OpenAI au lieu de multiples SDK spécifiques à chaque fournisseur.

passerelle ia litellm

Pourquoi avez-vous besoin d’une passerelle d’IA (AI Gateway) aujourd’hui ?

Dans de nombreuses organisations, chaque équipe commence à utiliser l’IA générative de son côté : multiples fournisseurs, multiples clés API, aucune visibilité centrale sur les coûts et quasi-absence de gouvernance sur ce qui est envoyé à quel modèle.

Cela devient rapidement un problème : les directions financières commencent à demander « qui a dépensé cet argent dans les LLM ? », les équipes de sécurité s’inquiètent du partage des données et des jetons (tokens), et les équipes DevOps ont besoin d’un moyen de surveiller et de limiter le débit du trafic.

LiteLLM résout ce problème en agissant comme une passerelle LLM centralisée : toutes les applications appellent le proxy LiteLLM (en utilisant le format OpenAI), et la passerelle achemine ensuite les requêtes vers le bon fournisseur, applique des garde-fous, enregistre tout et impose des limites de coûts et de débit.

Cela signifie que vous pouvez standardiser votre organisation sur https://votre-passerelle-litellm/ en tant que point de terminaison unique pour toute l’utilisation des LLM, que ce soit dans le cloud ou dans des environnements auto-hébergés.

Qu’est-ce que LiteLLM en quelques mots ?

LiteLLM est une passerelle d’IA open source (proxy LLM) qui expose une API compatible avec OpenAI tout en se connectant en coulisses à de nombreux fournisseurs de LLM et types de modèles différents.

Vous pouvez le déployer sous forme de conteneur ou de service (sur site, dans votre cloud privé ou managé), définir des règles de routage dans un fichier de configuration, puis fournir à vos équipes des clés API virtuelles dissociées des clés brutes des fournisseurs.

Puisque tout le trafic passe par LiteLLM, vous bénéficiez automatiquement d’un suivi centralisé des coûts, de budgets, de limites de débit, d’observabilité, de journaux d’audit, de garde-fous et de gestion des prompts – sans modifier le code de vos applications au-delà de l’URL de base et de la clé.

De notre point de vue, c’est similaire à ce qu’une passerelle d’API ou un reverse-proxy fait pour les microservices, mais adapté aux besoins uniques de l’IA générative et des LLM.

1) Suivi des coûts : voyez enfin qui dépense quoi

L’un des premiers défis avec l’IA générative est de comprendre les coûts des LLM par équipe, projet et environnement.
LiteLLM sert de proxy pour chaque requête et enregistre des informations détaillées sur les coûts et l’utilisation des jetons dans une base de données PostgreSQL, y compris le fournisseur, le modèle, le nombre de jetons, le coût calculé, la clé, l’utilisateur, l’équipe et les horodatages.

  • Suivez les dépenses par clé / utilisateur / équipe / organisation au fil du temps.
  • Voyez combien chaque modèle et fournisseur vous coûte réellement dans des conditions de charge réelles.
  • Exportez les données de coûts vers des outils de BI ou des rapports de refacturation pour les clients internes ou externes.

LiteLLM expose également des métriques Prometheus telles que le coût total et l’utilisation des jetons par modèle et par clé, ce qui vous permet d’ajouter des tableaux de bord Grafana affichant les dépenses historiques et en temps réel pour les LLM, tout comme vous le faites pour l’infrastructure.
Pour de nombreuses organisations, c’est la première fois qu’elles obtiennent une visibilité précise des coûts par locataire (tenant) pour l’ensemble de leur utilisation de l’IA générative.

2) Budgets et niveaux de limitation de débit (Rate Limit Tiers)

En plus du suivi brut, LiteLLM vous permet de définir des budgets et des niveaux de limitation de débit (Rate Limit Tiers) – des plans réutilisables qui limitent la consommation maximale autorisée pour chaque clé / utilisateur / équipe.
Dans la configuration, vous pouvez définir des niveaux avec des limites mensuelles en dollars, des quotas de jetons, des requêtes par minute (RPM) et des jetons par minute (TPM), puis attribuer des clés virtuelles à ces niveaux.

Lorsqu’une clé atteint son budget ou son seuil de RPM/TPM, LiteLLM peut automatiquement bloquer les requêtes suivantes ou renvoyer des réponses standard de limitation de débit, tandis que des métriques telles que litellm_rate_limit_remaining vous aident à surveiller la capacité restante par niveau.
Cela facilite la mise en œuvre de « plans » pour les équipes internes ou les clients externes (ex. Gratuit / Standard / Entreprise), chacun ayant ses propres contraintes de budget et de débit, à l’instar des API SaaS.

3) Garde-fous (Guardrails) : application centralisée de la sécurité et des politiques

Une autre fonctionnalité majeure réside dans les garde-fous (Guardrails) : la capacité d’appliquer des politiques de sécurité, de conformité et de contenu aux invites (prompts) et aux réponses, au sein d’une passerelle unique.
LiteLLM vous permet de configurer des garde-fous qui s’exécutent avant l’envoi d’un prompt (pré-appel) et/ou après la génération d’une réponse (post-appel), afin de bloquer ou de transformer le trafic qui enfreint vos règles.

La passerelle peut s’intégrer à des systèmes de garde-fous côté fournisseur, tels que AWS Bedrock Guardrails, et peut même répartir la charge des requêtes de garde-fous sur plusieurs déploiements ou comptes pour ne pas dépasser les limites des fournisseurs.
Les cas d’usage typiques incluent le blocage des informations personnelles identifiables (PII), l’application de sujets autorisés, la désinfection des sorties pour des domaines d’activité spécifiques, ou l’intégration de votre propre logique de garde-fous qui s’exécute pour tous les modèles de manière centralisée.

4) Accès aux modèles et clés virtuelles

LiteLLM introduit le concept de clés API virtuelles associées aux clés des fournisseurs sous-jacents et aux listes de modèles, ce qui est très utile pour le DevOps et la sécurité.
Au lieu de donner aux développeurs des clés OpenAI ou Anthropic directes, vous émettez des clés LiteLLM avec des modèles autorisés et des budgets strictement définis, et vous renouvelez les clés des fournisseurs en arrière-plan selon les besoins.

Le routage s’effectue via une configuration model_list où les noms logiques des modèles (par exemple gpt-4 ou modèle-anglais-interne) sont associés à un ou plusieurs fournisseurs et backends, y compris des LLM cloud et des modèles auto-hébergés/locaux (par exemple via Ollama ou vLLM).
Vous pouvez également configurer des mécanismes de secours (fallbacks) et de répartition de charge entre fournisseurs : si un fournisseur est indisponible ou bridé, LiteLLM peut automatiquement en essayer un autre tout en conservant la même interface de style OpenAI pour vos applications.

5) Observabilité et surveillance des LLM

L’observabilité est essentielle lorsque vous exécutez des LLM en production, et LiteLLM fournit plusieurs niveaux de surveillance prêts à l’emploi.
La passerelle expose un point de terminaison /metrics compatible avec Prometheus, fournissant des métriques sur le nombre de requêtes, les latences, l’utilisation des jetons, les coûts totaux et les limites de débit par modèle et par clé.

De plus, LiteLLM écrit des journaux structurés détaillés et propose des intégrations avec Langfuse, OpenTelemetry, Datadog, Helicone, Lunary, MLflow et d’autres via des fonctions de rappel (callbacks) et des crochets de journalisation.

Cela signifie que vous pouvez tracer les requêtes de bout en bout, les corréler avec les journaux d’application et les métriques d’infrastructure, et obtenir une image réaliste de la façon dont l’IA générative est utilisée dans vos cycles de développement (SDLC) et vos systèmes de production.

6) Journalisation S3 pour la rétention à long terme

Pour les organisations qui ont besoin d’une conservation à long terme ou d’un stockage à froid économique des journaux de LLM, LiteLLM prend en charge la journalisation directe vers des compartiments S3 / GCS / cloud à l’aide de callbacks intégrés.

En activant le callback S3 dans litellm_settings et en configurant les paramètres du compartiment, la passerelle sérialisera les métadonnées de requête/réponse dans des fichiers JSON et les téléversera dans le compartiment, généralement partitionnées par date et par préfixes optionnels (comme l’équipe ou l’environnement).

Il existe des options pour séparer les journaux d’audit (pour la conformité) des journaux de requêtes généraux et les envoyer vers différents compartiments ou préfixes, ce qui est très utile pour les environnements réglementés.
Une fois les données stockées, votre équipe de données peut exécuter des analyses dans des outils comme Athena, BigQuery ou Spark sans impacter les systèmes de production.

7) API de traitement par lots (Batches API) pour les tâches à grande échelle

Certaines charges de travail (par exemple, l’évaluation de millions d’enregistrements ou l’exécution d’analyses nocturnes) sont plus faciles à gérer via un traitement par lots (batch processing) plutôt que par de multiples petits appels synchrones.
LiteLLM prend en charge une API de traitement par lots (Batches API) similaire à celle d’OpenAI, incluant des points de terminaison de type /v1/files et /v1/batches, où vous téléversez un fichier JSONL contenant de nombreuses requêtes et laissez le fournisseur les traiter de manière asynchrone.

Sous le capot, LiteLLM peut acheminer ces tâches par lots vers des fournisseurs comme vLLM et les API de traitement par lots d’Amazon Bedrock, tout en appliquant les mêmes règles de budgets, de limites de débit et de journalisation que pour les complétions de chat classiques.
C’est l’idéal pour les équipes internes de science des données qui souhaitent exécuter des tâches LLM hors ligne de grande envergure sans contourner les contrôles de gouvernance et de coûts.

8) Gestion des prompts pour une meilleure qualité et gouvernance

À mesure que l’utilisation des LLM se développe, les prompts deviennent des actifs qui doivent être versionnés, partagés et gouvernés, et pas seulement des chaînes de caractères codées en dur.
LiteLLM fournit des fonctionnalités de gestion des prompts (Prompt Management) qui vous permettent de stocker des modèles de prompts (templates), de les versionner et de les injecter de manière centralisée dans les requêtes, plutôt que de les coder en dur dans chaque microservice.

La passerelle peut s’intégrer aux outils de gestion de prompts existants via des callbacks, et elle expose également une interface de gestion des prompts (Prompt Management UI) où vous pouvez importer des fichiers de prompts (par exemple .prompt / .dotprompt) et accorder à des clés spécifiques l’accès aux modèles sélectionnés.
Cela permet de mettre en place des tests A/B sur les prompts, de déployer des mises à jour de prompts sans redéployer les applications, et d’imposer quelles équipes peuvent utiliser quels modèles de prompts officiels.

9) Points de terminaison pass-through : lorsque vous avez besoin des API natives

Bien que la plupart des applications puissent utiliser l’interface compatible OpenAI, certains cas nécessitent des points de terminaison natifs des fournisseurs – par exemple, les API spécifiques à Bedrock, les assistants OpenAI ou des outils propres aux fournisseurs.
Pour cela, LiteLLM propose des points de terminaison pass-through (Pass-Through Endpoints), qui transfèrent les requêtes directement vers les API natives du fournisseur tout en appliquant l’authentification, la journalisation et (le cas échéant) les budgets de LiteLLM.

Par exemple, les points de terminaison pass-through Bedrock vous permettent d’appeler Bedrock via son format natif tandis que LiteLLM gère les identifiants AWS et le routage.
De même, le point de terminaison pass-through OpenAI peut servir de proxy pour les nouvelles fonctionnalités d’OpenAI (telles que les Assistants, Threads, Vector Stores ou Responses) avant même qu’il n’existe une abstraction générique, sans perdre l’observabilité centralisée.

Comment nous (ALM Toolbox) pouvons vous aider à déployer LiteLLM

LiteLLM is puissant, mais comme toute passerelle centrale, il doit être conçu et déployé avec soin : haute disponibilité, sécurité, observabilité et intégration dans votre pipeline CI/CD et DevSecOps existant.
En tant que représentant et partenaire officiel, nous (ALM Toolbox) pouvons vous aider à planifier et à mettre en œuvre LiteLLM dans le cadre de votre architecture d’IA, de DevOps et de DevSecOps.

Nos services autour de LiteLLM incluent (entre autres) :

  • Architecture et conception de votre passerelle d’IA (AI Gateway) et de votre modèle de gouvernance des LLM.
  • Installation et configuration de LiteLLM dans des environnements sur site (on-prem), cloud privé ou étanches (air-gapped).
  • Intégration avec GitLab, GitHub, Bitbucket, Azure DevOps et vos pipelines CI/CD.
  • Intégration avec des outils d’IA générative comme Claude, Cursor, Open WebUI, Windsurf, Tabnine, et bien d’autres.
  • Définition de politiques de budgets, de limites de débit, de garde-fous et de gestion des prompts adaptées à votre organisation.
  • Connexion de LiteLLM aux outils de surveillance, de journalisation et de sécurité que vous utilisez déjà (Prometheus, Grafana, SIEM, etc.).
  • Support continu, mises à niveau et durcissement de la sécurité (hardening) à mesure que votre utilisation de l’IA générative se développe.

Si vous envisagez une passerelle LLM / IA pour votre organisation, LiteLLM est une solution flexible et ouverte qui s’intègre parfaitement aux pratiques modernes de DevOps et DevSecOps.

Nous serons ravis de discuter de vos cas d’usage, de vous présenter des démonstrations et de vous aider à évaluer et déployer LiteLLM afin de répondre à vos exigences de sécurité, de conformité et de budget.

Pour plus de détails, des démos, une licence d’essai Enterprise ou un devis pour LiteLLM, n’hésitez pas à nous contacter : litellm@almtoolbox.com ou par téléphone au +33 1 84 17 53 28 (États-Unis / Canada) ou au 866-503-1471 (États-Unis / Canada)

Nous représentons officiellement LiteLLM comme solution de passerelle IA (AI Gateway) pour les développeurs

Jean-Michel BonnetLeave a comment

Je suis ravi de vous annoncer que nous représentons désormais officiellement LiteLLM en France (et dans d’autres pays),
et que nous proposons du support, des licences Enterprise, nos propres services de conseil (avec une équipe locale), des options de services gérés et bien plus encore.

LiteLLM vient enrichir notre portefeuille de solutions autour de l’IA, du DevOps et du DevSecOps.

 

Qu’est-ce que LiteLLM ?

LiteLLM est un outil open source populaire qui fait office de passerelle (Gateway) centralisée pour une large variété (plus de 100) de modèles d’IA
(notamment Claude, OpenAI, Bedrock, Gemini et bien d’autres).
Grâce à lui, vous pouvez permettre aux développeurs de votre entreprise de travailler avec tous ces modèles via un format unique et familier (celui d’OpenAI),
et ce d’une manière très simple qui facilite l’utilisation de multiples modèles,
sans être verrouillé par un modèle spécifique.
De plus, LiteLLM permet une gestion centralisée
et offre une visibilité complète sur l’utilisation des modèles : qui les utilise, comment, quelle est la consommation, etc.

La version de base du produit est gratuite.
Au-delà de cette édition gratuite, il existe une version Enterprise,
qui propose un ensemble de fonctionnalités adaptées aux organisations, telles que :

  1. Accès sécurisé via SSO et SCIM
  2. Gestion des utilisateurs et des groupes
  3. Logs et audit (auditing)
  4. Accès via JWT
  5. Gestion des secrets et rotation des clés
  6. Support structuré avec SLA

Nous proposons également un support pratique (hands-on) pour ce produit avec notre équipe locale
(basé sur notre expertise d’utilisation du produit) –
qui englobe aussi des compétences en DevOps, en sécurité du code et une expérience d’intégration avec divers outils et modèles. Pour plus d’informations sur le produit, vous pouvez me contacter ou joindre notre équipe à l’adresse litellm@almtoolbox.com

Parmi les entreprises qui utilisent LiteLLM :

Netflix, Orange, Lemonade et bien d’autres (ainsi que de très nombreux utilisateurs finaux à travers le monde – le projet compte plus de 40 000 étoiles sur GitHub)

De plus, nous (ALM-Toolbox) pouvons vous accompagner avec des services professionnels et du support, notamment :

  • Support local sur le produit – incluant des compétences DevOps et l’intégration à divers outils et modèles.
  • Intégration de LiteLLM avec vos processus de développement et vos pipelines DevOps / CI/CD
  • Connexion de LiteLLM aux outils de gestion de versions populaires tels que Git, GitLab, GitHub, Bitbucket, Azure DevOps, etc.
  • Assistance à l’installation du produit sur les aspects d’infrastructure et de DevOps, y compris dans des environnements sécurisés (air-gapped), sur site (On-premise) ou sur cloud privé comme AWS / GCP / Azure
  • Personnalisation de la solution selon les besoins spécifiques de votre entreprise
  • Sécurisation de la solution (DevSecOps / AppSec)

Contactez-nous pour plus d’informations, une version d’essai ou pour obtenir un devis :
litellm@almtoolbox.com ou par téléphone : +33 1 84 17 53 28 ou +31 85 064 4633 (International)

Explication approfondie (19 minutes) sur LiteLLM :

Liens utiles :

Avis CodeRabbit : Processus de Revision de Code par IA pour les Équipes d’Entreprise

Ori HLeave a comment
logo coderabbit
 

CodeRabbit est une plateforme avancée de revue de code par IA conçue pour rationaliser les processus de développement logiciel.
Elle s’intègre aux outils de développement existants pour fournir des revues de code automatisées, détecter les bugs plus tôt et accélérer l’approbation des Pull Requests (PR) et des Merge Requests (MR).

En tant qu’application d’IA la plus installée sur GitHub et GitLab, la plateforme a traité des millions de PRs sur de vastes bases de code.
Cet article examine les fonctionnalités de CodeRabbit, la manière dont il résout les problèmes du SDLC (Cycle de Vie du Développement Logiciel), ses cas d’usage dans les Entreprises, les intégrations supportées et sa place dans le paysage concurrentiel des outils de développement basés sur l’IA.

Vue d’ensemble de CodeRabbit

CodeRabbit agit comme un réviseur de code IA qui s’intègre dans le flux de travail existant de l’équipe.
Le système se connecte aux plateformes de gestion de code source telles que GitHub, GitLab, Bitbucket et Azure DevOps pour examiner les modifications de code dans chaque PR.

Le service fournit des commentaires contextuels ligne par ligne, génère des rapports de synthèse et suggère même des corrections.
L’objectif est de « réduire le temps de revue de code et le nombre de bugs de plusieurs ordres de grandeur » (parfois de 50 %), permettant aux équipes tirant parti des outils d’IA d’avancer rapidement sans compromettre la qualité.

La portée de CodeRabbit est significative : il a analysé plus de 10 millions de PRs dans plus d’un million de dépôts (repositories), témoignant de sa valeur pour les organisations de développement rapide. Il est disponible sous forme d’application de service Git, d’outil CLI et d’extension IDE, ce qui en fait « le seul outil qui effectue des revues où que vous travailliez » (dans les PRs, VS Code ou le terminal).

Pour les utilisateurs Entreprise, la plateforme offre une sécurité et une évolutivité robustes. Elle est certifiée SOC 2 Type II et utilise un chiffrement SSL de bout en bout sans conservation des données après la revue.
Les entreprises peuvent choisir entre un déploiement SaaS et des options auto-hébergées (Self-hosted), avec un contrôle d’accès basé sur les rôles (RBAC) et un support pour GitHub Enterprise Server (sur site/on-prem).
L’accent est également mis sur la confidentialité et la conformité – avec des environnements éphémères,
le chiffrement et des options sur site – ce qui le rend adapté aux organisations ayant des exigences de sécurité strictes.

Démo : (Vidéo d’1 min)

Fonctionnalités et Capacités de CodeRabbit :

L’ensemble des fonctionnalités de CodeRabbit est vaste, visant à reproduire et à améliorer la minutie d’une revue de code humaine tout en automatisant les tâches répétitives.
Les principales fonctionnalités incluent :

  1. Analyse de Code Automatisée : Dans chaque Pull Request, le système effectue une revue IA combinée à une Analyse Statique. Il publie un commentaire « Walkthrough » résumant les changements et soulignant les problèmes potentiels, suivi d’un commentaire de revue détaillé signalant les bugs, les violations de style ou le manque de documentation et de tests. Les revues combinent les capacités de raisonnement des LLM avec plus de 40 Linters et scanners de sécurité pour une couverture élevée.
  2. Corrections en un clic : De nombreux problèmes sont accompagnés de suggestions de correction applicables en un seul clic. CodeRabbit propose des suggestions de commit en un clic pour les corrections simples et un bouton « Fix with AI » pour les modifications plus complexes, permettant aux développeurs d’appliquer les correctifs directement depuis l’interface de la PR.
  3. Résumés de PR & Diagrammes : Le système génère un résumé « TL;DR » des modifications et même des diagrammes visuels de l’architecture du code ou du flux d’exécution.
    Cela aide les réviseurs humains à comprendre la portée et l’intention du changement en un coup d’œil.
  4. Chat de Revue Interactif : Vous pouvez discuter avec le bot CodeRabbit en taguant @coderabbitai dans les commentaires de la PR. Le bot peut expliquer ses retours et même accepter des commandes. Cette capacité de Chat Agentique transforme chaque PR en une session collaborative. Par exemple, vous pouvez demander au bot de générer des Docstrings, et il ouvrira automatiquement une nouvelle PR avec les changements.
  5. Apprentissage et Règles Personnalisées : De manière unique, CodeRabbit apprend des retours de l’équipe. Si l’équipe n’est pas d’accord avec une suggestion, le bot s’adaptera à l’avenir.
    De plus, des instructions de revue personnalisées peuvent être définies via un fichier YAML, rendant la revue plus adaptée aux standards du projet au fil du temps.
  6. Analyse Enrichie par le Contexte : Le système construit un « Graphe de code » pour comprendre les dépendances entre les fichiers et intègre un contexte externe comme Jira ou des recherches web pour une documentation à jour. Cette profondeur de contexte aide l’IA à éviter les Faux Positifs.
  7. Vérifications Pré-Merge et Générateurs : Le système peut exécuter des vérifications pré-fusion (Pre-merge checks) personnalisées écrites en langage naturel, évaluer la couverture des tests et générer automatiquement des Tests unitaires ou des Docstrings manquants.
  8. Reporting et Analytique : Un tableau de bord analytique fournit aux responsables d’ingénierie des informations telles que le temps moyen de fusion des PRs, le nombre de problèmes détectés et le taux d’acceptation des suggestions CodeRabbit. Des rapports (tels que les résumés Daily Stand-up) peuvent être programmés pour être envoyés par e-mail ou sur Slack/Teams.

Toutes ces fonctionnalités fonctionnent avec une fiabilité de niveau Entreprise, utilisant des environnements cloud éphémères et le chiffrement des données en transit.

Répondre aux problèmes du SDLC et de l’ALM :

Les équipes de développement modernes, en particulier celles adoptant des outils de Pair Programming par IA, font face à de nouveaux défis. CodeRabbit a été conçu pour résoudre plusieurs problèmes du SDLC et de l’ALM (Gestion du Cycle de Vie des Applications) :

  • Goulots d’étranglement de la Revue de Code : Avec la génération rapide de code (par ex. via GitHub Copilot), les réviseurs humains peinent à suivre.
    CodeRabbit résout ce goulot d’étranglement en effectuant des revues immédiates et en fournissant des retours en quelques instants. Des entreprises ont rapporté des « processus de fusion 40 % plus rapides » après adoption.
  • Améliorer la Qualité du Code tôt : L’outil détecte les bugs avant que le code n’atteigne la Production. Il signale les cas limites (edge cases), les erreurs « Off-by-one » et les problèmes de sécurité potentiels.
    En adoptant une approche « Shift Left » (décalage de la détection des défauts vers la gauche) au stade de la PR, les corrections coûteuses plus tard dans le cycle sont évitées.
  • Cohérence et Bonnes Pratiques : Le système applique uniformément les guides de style et rappelle aux développeurs d’utiliser les modèles convenus. Il sert de base de connaissances évolutive des normes de l’équipe, ce qui est particulièrement utile pour l’Onboarding des nouveaux ingénieurs.
  • Fatigue du Réviseur et Couverture : Contrairement aux réviseurs humains qui fatiguent, CodeRabbit offre une couverture complète et ne saute pas de parties du code. Il filtre le bruit et ne présente que les problèmes significatifs, réduisant la charge mentale de l’équipe.
  • Gérer le Code Généré par IA : Le code généré par IA peut contenir 1,7 fois plus de problèmes que le code humain. CodeRabbit agit comme une « Porte de Qualité » (Quality Gate) pour ce code, fournissant une revue tierce pour détecter les erreurs d’outils comme Copilot.

Cas d’Usage Courants en Entreprise

  1. Revues de Pull Request Automatisées : Le cas d’usage principal est la revue automatique de chaque PR sur des plateformes comme GitHub et GitLab. Cela peut être configuré comme une vérification requise empêchant les fusions tant que la revue n’est pas terminée et que les problèmes critiques ne sont pas résolus.
  2. Assistant de Revue de Code dans l’IDE : Les développeurs peuvent recevoir des retours directement dans l’IDE (comme VS Code) avant même de faire un Push. Cela permet des vérifications Pre-commit et une résolution précoce des problèmes sans changer de contexte vers GitHub.
  3. Améliorations CI/CD : Intégration avec les systèmes de CI comme CircleCI et Azure DevOps pour identifier et corriger automatiquement les échecs de Build. C’est un pas vers l’« Auto-guérison de la CI » (Self-healing CI) et le « Shift Left ».
  4. Couverture des Tests Unitaires et Documentation : La capacité de générer des Tests unitaires et des Docstrings à la demande améliore considérablement la productivité et la maintenabilité du code.
  5. Onboarding des Développeurs : L’outil mentore les nouveaux développeurs en expliquant les écarts par rapport aux normes et en fournissant un contexte pour les problèmes, raccourcissant ainsi la courbe d’apprentissage.
  6. Collaboration Inter-équipes : La connexion à Jira et Slack transforme la PR en un hub collaboratif, impliquant des parties prenantes comme l’AQ et les Product Managers dans le processus de revue.
  7. Audit et Amélioration Continue : Les données de revue et les tableaux de bord sont utilisés pour l’amélioration des processus et les audits de conformité dans les industries réglementées.

Intégrations avec les Outils de Développement :

  1. Plateformes de Gestion de Code Source : Support pour GitHub (y compris Enterprise Server), GitLab, Bitbucket et Azure Repos. Ce support multiplateforme est critique pour les organisations ayant des environnements mixtes.
  2. Suivi des Tickets (Issue Trackers) : Intégration native avec Jira et Linear pour récupérer le contexte et gérer les tickets directement depuis la PR.
  3. Communication : Support de Slack et Microsoft Teams pour recevoir des alertes et des rapports. Le partenariat avec la plateforme PullFlow permet une synchronisation bidirectionnelle des commentaires.
  4. Outils CI/CD et DevOps : Fonctionne aux côtés de CircleCI, GitHub Actions, et utilise les résultats des outils SAST (comme SonarCloud) pour centraliser tous les signaux de qualité en un seul endroit.
  5. IDE et CLI : Extension pour VS Code et support CLI (commande coderabbit) permettant l’exécution de revues dans des environnements Headless ou des hooks Pre-commit. Une intégration existe également avec des IDE basés sur l’IA comme Cursor et Windsurf.
  6. Sources de Connaissances Externes : Utilisation de serveurs MCP (Multi-Context Provider) pour accéder aux bases de connaissances internes, et exécution de requêtes web pour récupérer des informations à jour sur les APIs ou les bibliothèques.

Résumé : S’adapter au SDLC Moderne

CodeRabbit démontre comment l’IA Générative peut être exploitée pour améliorer les pratiques d’ingénierie logicielle, non seulement en écrivant du code plus rapidement, mais en élevant la barre de la qualité du code et de l’efficacité des revues.
Dans un SDLC moderne, et spécifiquement au niveau Entreprise, il fonctionne comme un « Gardien du Code » basé sur l’IA, assurant que la vélocité du développement ne se fait pas au détriment de la maintenabilité ou de la sécurité.

L’outil s’inscrit dans le concept d’un cycle de développement piloté par l’IA : l’IA écrit le code, l’IA révise le code, et les humains supervisent et guident les deux.
L’adoption de CodeRabbit permet aux organisations d’accélérer la livraison, d’améliorer la qualité du code et d’autonomiser leurs ingénieurs, tout en maintenant les standards rigoureux requis dans le développement logiciel aujourd’hui.

Cet avis a été préparé par Tamir Gefen et l’équipe ALM Toolbox – les représentants officiels de CodeRabbit , fournissant conseil, support, assistance au choix de licence, vente de licences, et plus encore.
Pour plus de détails contactez-nous : devops.fr@almtoolbox.com
Ou par téléphone : +33 1 84 17 53 28 , 866-503-1471 (USA & Canada) ou +31 85 064 4633

Notre offre IA

Jean-Michel BonnetLeave a comment

slide-ai

Nous sommes souvent interrogés sur notre offre en matière d’IA (Intelligence Artificielle) et de Gen AI. (Generative AI).
C’est un sujet brûlant lié à l’écriture de code par les développeurs, les ingénieurs DevOps et QA, à la révision du code (écrit par l’IA), et cela touche également aux questions de sécurité et de confidentialité, y compris la protection des données importantes et de la propriété intellectuelle, le développement de code sécurisé, la sécurité des applications (App Sec), le cycle de vie du développement logiciel sécurisé (SDLC) et bien plus encore.

Voici un résumé de notre gamme actuelle de solutions dans un article court et à jour.

Notre gamme de solutions :

  1. Nous proposons des solutions pour les réseaux fermés (« isolés » et déconnectés d’Internet) ainsi que pour les réseaux connectés à Internet. (SaaS solutions).
  2. Nous avons également des solutions hybrides. (for on-premises environments with an Internet connection).
  3. Nous pouvons créer des solutions d’IA sur mesure en utilisant une technologie avancée d’apprentissage automatique, y compris GPT-4, GPT-4o et leur API puissante.
    Nous sommes spécialisés dans la création de bots / agents interactifs qui permettent des requêtes et des interactions avec des bases de données et des bases de connaissances, ce qui augmente l’accessibilité et l’efficacité du système.
    Nous proposons également des solutions qui incluent un traitement avancé du langage naturel, des analyses de données et des fonctionnalités d’automatisation pour répondre aux besoins et défis spécifiques de l’industrie.
  4. Nous soutenons et vendons des outils d’IA générative, y compris:
  5. Nous supportons et vendons des outils qui peuvent vous aider pour surveiller et alerter sur la qualité du code généré par l’IA, y compris SonarQube (analyse statique), Socket (dépendances OSS et logiciels malveillants), Fossa (dépendances OSS et conformité des licences), GitLab et GitHub.
  6. Nous avons une vaste expérience en DevOps et en infrastructures logicielles, y compris git, Kubernetes, VS Code et d’autres outils pertinents.

En bref :

Nous savons comment adapter vos besoins spécifiques en matière d’IA à la solution qui correspond le mieux à vos exigences et à votre budget, et nous vous aidons à gérer correctement vos licences afin d’éviter des coûts inutiles.

Nous représentons officiellement des solutions d’IA telles que Codeium, GitLab et Sourcegraph.Pour plus de détails, contactez-nous et nous serons ravis de vous aider et de vous guider ::
ai@almtoolbox.com ou appelez-nous :France 01 84 17 53 28 / 866-503-1471 (États-Unis / Canada)
 
First release: April 16, 2023