Objectif : Monitorer et débugger les agents en production.
Théorie (10 min) :
- LangSmith = Outil officiel LangChain pour tracer les exécutions d'agents
- Voir : chaque appel LLM, chaque outil appelé, les tokens utilisés, les erreurs
- Gratuit pour usage personnel, payant pour les équipes
Pratique (50 min) :
- Créer un compte LangSmith et configurer les variables d'environnement
export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_API_KEY=your_key
export LANGCHAIN_PROJECT=digital-spirit-agents
- Lancer un agent et observer les traces dans LangSmith
- Analyser : Quel outil a été appelé ? Combien de tokens ? Quelle était la latence ?
- Identifier un problème de raisonnement depuis les traces
- Créer un dataset d'évaluation : 10 questions + réponses attendues
- Évaluer automatiquement les réponses de l'agent vs les réponses attendues
Checkpoint : Tu monitorers tes agents en production avec des données concrètes.