1. Un jeu de questions de test
Des questions réelles, avec les réponses attendues, rejouées à chaque modification de l'agent ou de ses sources.
Un prototype d'agent IA impressionne en démo. En production, il doit être fiable, sécurisé, mesurable et rentable. C'est ce passage que j'accompagne, du cadrage à l'adoption par les utilisateurs. Chez SUEZ, j'ai conçu 20 cas d'usage d'IA générative et mis plus de 200 agents IA en production.
Des questions réelles, avec les réponses attendues, rejouées à chaque modification de l'agent ou de ses sources.
Documents à jour, découpage adapté, métadonnées fiables pour filtrer. Les documents scannés sont vérifiés à part.
Vérifier que chaque filtre et chaque paramètre est réellement appliqué, pas seulement accepté sans erreur.
Pour toute action irréversible, avec un journal d'audit qui garde la trace de chaque décision.
Tokens comptés par agent et par cas d'usage, modèle le moins cher qui suffit, alertes de dépassement.
Qualité des réponses, erreurs, latence et usage suivis en continu, avec des objectifs de service.
L'agent ne voit que les données que l'utilisateur a le droit de voir. Validé avec la DSI et la cybersécurité.
Un agent que personne ne sait utiliser reste un POC. La formation fait partie de la mise en production.
4 correctifs fusionnés par l'équipe Microsoft : le connecteur TypeSafe (Jev) ignorait les variables de proxy derrière un proxy d'entreprise (PR #8984, 6 octobre 2026) ; les agents Azure AI Foundry sans streaming perdaient le lien de consentement OAuth des outils (PR #8976, 13 octobre 2026) ; le client Anthropic ignorait allow_multiple_tool_calls (PR #8980, 23 octobre 2026) ; le client Anthropic perdait les citations en streaming (PR #9898, 2 novembre 2026). Proposé, en attente de revue : images et questions Box de Jev 1.14 (PR #9411). Lire l'article.
Audit d'un framework d'agents open source (ex-Llama Stack, Meta) : recherche hybride, filtres pgvector et comptage des tokens. Correctifs intégrés par les mainteneurs (PR #6697 et #6698 fusionnées), puis un 4e bug corrigé dans Weaviate : la réindexation créait des doublons (PR #6705 fusionnée). Lire l'article sur le bug Weaviate.
Architecture multi-agents (CrewAI, LangGraph) avec validation humaine dans Slack et journal d'audit.
Mise en production de LLM open source avec vLLM : dimensionnement GPU, routeur qui réutilise le cache, autoscaling KEDA, SLO Prometheus.
Chargement des tokenizers Mistral en environnement hors ligne, pour les infrastructures fermées.
Passerelle multi-LLM sur Azure : chaque requête part vers le modèle autorisé, suffisant et le moins cher. Lire l'article.
Je mets des agents en production sur Azure AI Foundry et Azure OpenAI, sur Microsoft Copilot Studio pour les agents construits avec les métiers (voir le guide pas à pas de mise en production Copilot Studio), et sur des modèles open source auto-hébergés avec vLLM quand les données ne doivent pas quitter votre infrastructure. Le choix dépend des données, des utilisateurs et du budget, pas de la mode.
Tech Lead Data & IA freelance, basé à Paris. Missions pour SUEZ, TotalEnergies, Groupe SNCF, La Banque Postale, Les Mousquetaires, Volvo Group et SAUR. Retours d'expérience publiés sur Medium et code sur GitHub.
Pour que vos équipes construisent et exploitent elles-mêmes leurs agents, j'anime avec Spar-x, organisme certifié Qualiopi, des formations finançables par votre OPCO : formation IA générative (dont un module mise en production d'agents) et formation Copilot Studio. Pour l'obligation de maîtrise de l'IA, voir le kit gratuit AI Act article 4.
Les 8 points à vérifier avant de mettre un agent IA en production : tests, sources, filtres, validation humaine, budget, supervision, accès, formation.
Épisode 2 du podcast « Agents IA en production » (15 min) : les 8 points à vérifier avant de mettre un agent IA en production, et les bugs silencieux à surveiller. Épisode généré par IA (voix de synthèse) à partir des articles de Zakaria Khchiche.
Épisode 4 du podcast « Agents IA en production » (16 min) : ce qui sépare un prototype d'agent IA d'un agent fiable en production. Épisode généré par IA (voix de synthèse) à partir des articles et du site de Zakaria Khchiche.
Épisode 7 du podcast « Agents IA en production » (12 min) : ce que l'audit de mistral-common et du SDK Python mistralai a révélé (paramètres d'outils optionnels rendus obligatoires en mode strict, champs dictionnaire vidés dans les sorties structurées, validateur trompé par un retour à la ligne) et les leçons pour tester ses propres agents. Épisode généré par IA (voix de synthèse). Lire l'article.
Parce qu'un POC est testé sur quelques questions choisies, alors qu'en production l'agent reçoit des milliers de demandes imprévues, sur des données réelles, avec des contraintes de sécurité et de coût. Sans tests, supervision et validation humaine, les erreurs passent inaperçues et la confiance tombe.
Une erreur qui ne déclenche aucun message : un filtre qui ne filtre pas, un paramètre ignoré, des tokens mal comptés. L'agent répond quand même, mais mal. On les attrape en testant la valeur réellement envoyée, avec de vrais types de données. J'en ai trouvé quatre dans OGX, un framework d'agents open source, corrigés depuis par les mainteneurs.
Cela dépend du cas d'usage, des données et des validations internes. Le plus long est rarement le modèle : ce sont l'accès aux données, la sécurité et l'adoption par les utilisateurs. Un cadrage de départ permet de donner une estimation réaliste.
Oui pour toute action irréversible ou sensible : envoyer, payer, supprimer, engager l'entreprise. L'agent prépare, un humain valide, et chaque décision est tracée dans un journal d'audit.
Oui, c'est un des thèmes des formations IA générative que j'anime avec Spar-x, organisme certifié Qualiopi, finançables par votre OPCO.
Décrivez-moi le cas d'usage, les données et ce qui bloque. Je vous réponds avec les points à traiter en priorité pour passer en production.