Trao đổi về dự án
Kiến trúc IA

Làm sao biết tác nhân lập trình thực sự tiến bộ?

Tác nhân sửa được bài kiểm thử ở lần đầu rồi lại chạm nhầm tệp ở lần sau. Dùng bản xem trước Copilot Evals để thiết kế phép so sánh lặp lại cho hai cấu hình trên kho mã của bạn.

Comment vérifier qu’un agent de code s’améliore vraiment ?

Tác nhân sửa một bài kiểm thử ngày tháng. Lần sau nó tắt phép kiểm tra thay vì sửa cách tính. Một màn trình diễn chỉ đem lại một quan sát. Đánh giá lặp lại cho biết hành vi nào xuất hiện nhiều lần.

Bản xem trước để kiểm tra cấu hình của bạn

Ngày 17 tháng 11, GitHub mở bản xem trước công khai của Copilot Evals. GitHub liệt kê các gói Individual, Business và Enterprise. Công cụ dùng Vally, bộ máy đánh giá chạy cục bộ có thể mở rộng. Bạn có thể tạo bài thử cho kỹ năng, tác nhân tuỳ chỉnh hoặc công cụ MCP, giao thức kết nối tác nhân với dịch vụ khác. GitHub cung cấp tiện ích VS Code và plugin cho dòng lệnh và ứng dụng Copilot. Mô hình và công cụ đã cấu hình vẫn có thể trao đổi dữ liệu bên ngoài.

So sánh hai phiên bản của một kỹ năng

  1. Tạo kho mã thử dùng một lần, có bài kiểm thử ngày tháng đang thất bại. Ghi kết quả mong đợi, tệp được sửa và lệnh được chạy. Thêm phép kiểm tra để phát hiện việc xoá bài thử.
  2. Cố định phiên bản kho mã, mô hình và quyền. Chạy năm lần cho mỗi phiên bản, luôn bắt đầu từ bản sao sạch. Ghi kết quả, đường dẫn đã sửa, thời gian và công sức xử lý thủ công.
  3. Thêm yêu cầu mơ hồ mà việc hỏi lại có thể là đáp án đúng. Xem từng lỗi. Với năm lần chạy, tỷ lệ thành công là tín hiệu thăm dò.

Triển khai bản cập nhật khi nó cải thiện đúng nhiệm vụ và vẫn đáp ứng mọi yêu cầu bắt buộc. Giữ lại các ca thất bại để đánh giá phiên bản sau.

Chia sẻ bài viết