Agents IA · RAG · LLM · Production

Faire passer vos agents IA du POC à la production

Un prototype d'agent IA impressionne en démo. En production, il doit être fiable, sécurisé, mesurable et rentable. C'est ce passage que j'accompagne, du cadrage à l'adoption par les utilisateurs.

Me confier une mission (Malt) Échanger sur LinkedIn

Ce qui change entre un POC et la production

Les bugs silencieux : un filtre qui ne filtre pas ou un paramètre ignoré ne lève aucune erreur. Il faut tester la valeur réellement envoyée, avec de vrais types de données.
La qualité des sources : dans un RAG, la plupart des mauvaises réponses viennent des documents, pas du modèle.
L'humain dans la boucle : validation humaine des actions irréversibles et journal d'audit.
Les coûts : routage vers le modèle suffisant le moins cher, suivi des tokens en cache et de raisonnement.
L'exploitation : dimensionnement, autoscaling, objectifs de service et supervision.

Preuves

Ce que j'ai construit et publié

3 bugs silencieux dans OGX

Audit d'un framework d'agents open source (ex-Llama Stack, Meta) : recherche hybride, filtres pgvector et comptage des tokens.

ai-company-stack

Architecture multi-agents (CrewAI, LangGraph) avec validation humaine dans Slack et journal d'audit.

vllm-production-serving

Mise en production de LLM open source avec vLLM : dimensionnement GPU, routeur qui réutilise le cache, autoscaling KEDA, SLO Prometheus.

Contribution Mistral AI

Chargement des tokenizers Mistral en environnement hors ligne, pour les infrastructures fermées.