El agente corrige una prueba de fechas. En la ejecución siguiente desactiva la comprobación en vez de corregir el cálculo. Una demostración aporta una observación. Una evaluación repetible muestra qué comportamientos se repiten.
Una vista previa para evaluar su configuración
GitHub abrió Copilot Evals en vista previa pública el 17 de noviembre. GitHub incluye los planes Individual, Business y Enterprise. Usa Vally, un motor local de evaluación ampliable. Permite preparar pruebas para habilidades, agentes personalizados y herramientas MCP, un protocolo para conectar otros servicios. GitHub ofrece una extensión de VS Code y plugins para el CLI y la aplicación Copilot. Los modelos y herramientas configurados pueden intercambiar datos fuera del motor local.
Comparar dos versiones de una habilidad
- Prepare un repositorio desechable con una prueba de fechas que falla. Registre el resultado esperado, los archivos editables y los comandos autorizados. Añada un control que falle si se borra la prueba.
- Fije la revisión del repositorio, el modelo y los permisos. Haga cinco ensayos por versión, desde una copia limpia. Registre el resultado, los archivos modificados, el tiempo y el trabajo manual.
- Añada una especificación ambigua, en la que pedir aclaraciones puede ser correcto. Revise cada fallo. Con cinco intentos, la proporción de aciertos sirve como indicio para el piloto.
Difunda la actualización si mejora las tareas previstas y cumple los requisitos obligatorios. Guarde los casos fallidos para comprobar la próxima versión.