Parlons de votre projet
Architecture IA

Comment vérifier qu’un agent de code s’améliore vraiment ?

Un agent corrige un test au premier essai, puis modifie le mauvais fichier au suivant. Avec la préversion de Copilot Evals, construisez un cas répétable pour comparer deux configurations sur votre dépôt.

Comment vérifier qu’un agent de code s’améliore vraiment ?

Votre agent répare un test de date. Au lancement suivant, il désactive la vérification au lieu de corriger le calcul. Une démonstration réussie vous donne une piste. Une évaluation répétée vous montre quels comportements reviennent.

Une préversion pour évaluer vos configurations

Le 17 novembre, GitHub a rendu Copilot Evals accessible en préversion publique. GitHub liste les offres Individual, Business et Enterprise. L’outil repose sur Vally, un moteur d’évaluation local extensible. Il aide à préparer des tests de compétences, d’agents personnalisés et d’outils MCP, un protocole qui relie l’agent à d’autres services. GitHub cite une extension VS Code, un plugin CLI et un plugin pour l’application Copilot. L’exécution locale du moteur laisse subsister les échanges propres au modèle et aux outils configurés.

Comparer deux versions d’une compétence

  1. Préparez un dépôt jetable et un test de date qui échoue. Notez le résultat attendu, les fichiers modifiables et les commandes autorisées. Ajoutez un contrôle qui échoue si le test est supprimé.
  2. Figez la révision du dépôt, le modèle et les permissions. Exécutez les deux versions de la compétence cinq fois chacune, en repartant d’une copie propre. Conservez résultat du test, chemins modifiés, durée et besoin de reprise humaine.
  3. Ajoutez un cas où la spécification est ambiguë : une demande d’éclaircissement peut être le bon résultat. Examinez les échecs individuellement. Avec cinq essais, la proportion de réussites reste une indication pour le pilote.

Une mise à jour mérite d’être diffusée si elle améliore les tâches visées sans dégrader une exigence que vous avez marquée comme bloquante. Conservez les cas qui ont fait échouer l’agent pour mesurer la prochaine version.

Une tâche identique est répétée avant et après une modification de l’agent.

Partager cet article