L’agente sistema un test sulle date. Al tentativo seguente disattiva il controllo invece di correggere il calcolo. Una dimostrazione fornisce un’osservazione. Una valutazione ripetibile mostra quali comportamenti si ripresentano.
Un’anteprima per valutare la propria configurazione
Il 17 novembre GitHub ha aperto Copilot Evals in anteprima pubblica. GitHub indica i piani Individual, Business ed Enterprise. Usa Vally, un motore di valutazione locale estensibile. Aiuta a preparare test per skill, agenti personalizzati e strumenti MCP, un protocollo per collegare altri servizi. GitHub indica un’estensione VS Code e plugin per CLI e app Copilot. I modelli e gli strumenti configurati possono comunque scambiare dati fuori dal motore locale.
Confrontare due versioni di una skill
- Preparate un repository temporaneo con un test sulle date che fallisce. Annotate esito atteso, file modificabili e comandi consentiti. Aggiungete un controllo che fallisca se il test viene eliminato.
- Fissate revisione del repository, modello e permessi. Eseguite cinque prove per versione da una copia pulita. Registrate esito, file modificati, tempo e interventi manuali.
- Inserite una specifica ambigua, per cui chiedere chiarimenti può essere corretto. Esaminate ogni insuccesso. Con cinque prove, la quota di successi è un’indicazione per il pilota.
Distribuite l’aggiornamento se aiuta nelle attività previste e rispetta i requisiti obbligatori. Conservate i casi falliti per valutare la versione successiva.