Việc xác nhận từ con người thường được thêm vào như một phản ứng phổ quát đối với rủi ro: « AI đề xuất và con người xác nhận ». Câu công thức này có vẻ đáng tin cậy, nhưng nó có thể trở thành một thủ tục hình thức. Nếu người đó nhận quá nhiều yêu cầu, không thấy nguồn gốc, không có năng lực hoặc chịu áp lực về thời hạn, họ sẽ phê duyệt một cách cơ học.
Một kiểm soát con người hiệu quả phải được đặt vào đúng thời điểm, cung cấp thông tin hữu ích và thực sự cho phép từ chối, sửa chữa hoặc nâng cấp. Nó cũng phải tiếp tục tương thích với khối lượng và mục tiêu tự động hóa.
Xác định những gì mà kiểm soát bảo vệ
Trước khi chọn một màn hình, hãy nêu rõ rủi ro:
- lỗi thực tế;
- quyết định bất lợi;
- rò rỉ dữ liệu;
- chi phí;
- cam kết hợp đồng;
- truyền thông bên ngoài;
- an ninh;
- uy tín;
- không khả dụng.
Kiểm soát phải liên quan đến một hậu quả. Việc đọc lại về phong cách không bảo vệ một lỗi về quyền hạn.
Đặt việc xác thực trước điểm không thể quay lại
Kiểm soát sau khi gửi, thanh toán hoặc xóa trở thành việc phát hiện, không phải phòng ngừa. Quy trình làm việc phải xác định thời điểm cuối cùng mà hành động có thể được thay đổi mà không có hậu quả.
Đối với một nhiệm vụ dài, có thể tồn tại nhiều điểm: xác nhận kế hoạch, dữ liệu sử dụng, bản nháp rồi đến hành động cuối cùng. Các kiểm tra không cần thiết được loại bỏ để tập trung sự chú ý.
Năm hình thức kiểm soát con người
1. Tổng quan hệ thống
Mỗi kết quả đầu ra đều được kiểm tra. Phù hợp cho người mới bắt đầu, các nhiệm vụ hiếm hoặc có tác động lớn.
2. Xác nhận của người dùng
Người yêu cầu xác nhận các tham số và hậu quả. Hữu ích cho một hành động liên quan đến họ và mà họ hiểu.
3. Phê duyệt độc lập
Một người khác xác nhận theo nguyên tắc phân tách chức năng, ví dụ cho một khoản thanh toán hoặc một quyết định nhạy cảm.
4. Lấy mẫu
Một phần kết quả được xem xét lại, với việc tăng tỷ lệ nếu chất lượng giảm. Phù hợp với các nhiệm vụ ổn định và có thể đảo ngược.
5. Leo thang theo ngoại lệ
Hệ thống thực hiện các trường hợp đơn giản và chuyển những trường hợp vượt quá ngưỡng, chứa mâu thuẫn hoặc thiếu bằng chứng.
Thang giám sát từ thông tin được hỗ trợ đến phê duyệt độc lập và tự chủ bị cấm.
Cung cấp cho người xác thực những bằng chứng đúng
Giao diện phải hiển thị:
- yêu cầu gốc;
- đề xuất xuất ra;
- nguồn và phiên bản;
- dữ liệu đã chỉnh sửa;
- quy tắc hoặc phép tính;
- sự không chắc chắn;
- khác biệt so với trạng thái hiện tại;
- hậu quả;
- thời hạn và khả năng quay lại.
Chỉ hiển thị kết quả làm tăng thiên lệch tự động hóa. Người kiểm chứng phải có khả năng mở bằng chứng mà không cần xây dựng lại toàn bộ hồ sơ.
Thiết kế các hành động xem xét
Các lựa chọn phải rõ ràng:
- phê duyệt;
- chỉnh sửa rồi phê duyệt;
- từ chối;
- yêu cầu một đề xuất mới;
- chuyển tiếp;
- báo cáo một vấn đề về nguồn hoặc chính sách.
Một sự phê duyệt được liên kết với phiên bản chính xác. Nếu nội dung thay đổi, nó sẽ trở nên không hợp lệ.
Tránh sự thiên vị tự động hóa
Một câu trả lời trôi chảy tạo sự tin tưởng ngay cả khi nó sai. Giao diện có thể giảm thiểu thiên kiến này bằng cách:
- trình bày bằng chứng trước khi khuyến nghị cho một số trường hợp sử dụng;
- chỉ ra các khu vực không được hỗ trợ;
- so sánh với giá trị nguồn;
- tránh điểm tin cậy chưa hiệu chỉnh;
- thay đổi các trường hợp thử nghiệm;
- đào tạo về các lỗi điển hình.
Kiểm soát phải đo lường sự bất đồng thực sự, không chỉ tỷ lệ tán thành.
Hiệu chỉnh sự không chắc chắn
Một mô hình ngôn ngữ lớn (LLM) không tự động cung cấp xác suất đáng tin cậy. Các tín hiệu hữu ích có thể đến từ sự bao phủ của các nguồn, sự nhất quán giữa các phương pháp, các quy tắc xác thực hoặc một bộ phân loại đã được hiệu chuẩn.
Khi mức độ không chắc chắn cao, hệ thống sẽ yêu cầu làm rõ, từ chối hoặc nâng cao vấn đề. Nó không che giấu vấn đề sau một câu nói thận trọng.
Xác định kích thước tải
Tính:
volume × temps moyen de revue × taux de contrôle
Thêm các đỉnh, vắng mặt, leo thang và đào tạo. Nếu khối lượng vượt quá khả năng, các phê duyệt trở nên hời hợt hoặc quy trình bị tắc nghẽn.
Các giải pháp là: giảm phạm vi, cải thiện chất lượng, tự động hóa các kiểm soát xác định, lấy mẫu các trường hợp yếu hoặc thêm nguồn lực. Loại bỏ việc rà soát một cách im lặng không phải là một giải pháp.
Chọn trình xác thực đúng
Người đó phải có:
- năng lực;
- truy cập dữ liệu;
- độc lập;
- thời gian;
- quyền từ chối;
- hiểu biết về trách nhiệm.
Một chuyên gia ngành không cần thiết cho việc kiểm tra định dạng, nhưng thì cần cho việc giải thích phức tạp. Các vai trò được ghi nhận và có người thay thế dự kiến.
Đào tạo và hiệu chuẩn
Các người kiểm duyệt sử dụng các ví dụ về kết quả tốt và xấu, một bảng tiêu chí và một quy trình kh escalade. Các buổi hiệu chuẩn so sánh các quyết định và làm rõ các tiêu chí.
Một bất đồng thường xuyên có thể tiết lộ một quy tắc nghiệp vụ mơ hồ, không phải là vấn đề của người đánh giá.
Lưu giữ một bằng chứng có tỷ lệ
Nhật ký giữ lại danh tính, phiên bản, quyết định, sửa đổi, lý do khi cần thiết và dấu thời gian. Nó tránh lưu trữ dữ liệu nhạy cảm không cần thiết.
Đối với một hành động quan trọng, bằng chứng bao gồm các tham số đã được phê duyệt và kết quả. Một dòng đơn giản 'đã xác nhận' mà không có đối tượng sẽ không cho phép kiểm toán.
Vòng lặp học tập
Các sửa lỗi được phân loại: sự thật, nguồn, định dạng, giọng điệu, pháp lý, tính toán hoặc chính sách. Chúng cung cấp dữ liệu cho trò chơi đánh giá và cải thiện quy trình.
Cần tránh việc huấn luyện lại tự động trên tất cả các chỉnh sửa mà không có sự xác nhận. Những lỗi do con người và dữ liệu nhạy cảm có thể bị lan truyền.
Lấy mẫu động
Khi chất lượng được chứng minh, tỷ lệ xem xét có thể giảm đối với các trường hợp yếu và đã biết. Nó tăng lên sau khi có sự thay đổi về mô hình, nguồn, prompt hoặc khi cảnh báo xuất hiện.
Các trường hợp mới, hiếm hoặc có tác động lớn vẫn được xem xét. Việc lấy mẫu được ghi chép và có thể tái lập.
Đo lường hiệu quả của việc kiểm soát
Theo dõi :
- tỷ lệ chấp thuận;
- tỷ lệ sửa đổi;
- tỷ lệ từ chối;
- bất đồng giữa các người xác nhận;
- thời gian xem xét;
- lỗi được phát hiện sau khi chấp thuận;
- leo thang;
- khối lượng công việc;
- mệt mỏi hoặc nước đôi.
Một tỷ lệ chấp thuận gần 100% có thể có nghĩa là chất lượng xuất sắc hoặc kiểm soát không cần thiết. Cần phải kiểm tra bằng các trường hợp điển hình và kiểm toán.
Kiểm soát con người và trải nghiệm người dùng
Việc xác thực phải được tích hợp vào công cụ nghiệp vụ, giữ nguyên ngữ cảnh và hoạt động trên các thiết bị thực. Các phím tắt, so sánh, bộ lọc và hành động theo lô là hữu ích, nhưng việc phê duyệt hàng loạt các hành động nhạy cảm được tránh.
Các thời hạn đều rõ ràng và người dùng biết ai đưa ra quyết định.
Kịch bản thất bại
Dự đoán :
- không có người phê duyệt sẵn sàng;
- thời hạn đã hết;
- xung đột giữa các người phê duyệt;
- dữ liệu bị thay đổi trong quá trình xem xét;
- mẫu không có sẵn;
- hành động đã được thực hiện;
- phê duyệt đã bị rút;
- sự cố bảo mật.
Quy trình chọn chờ, chuyển, hủy hoặc chế độ thủ công.
Một kiểm soát tiến triển cùng với bằng chứng
Con người trong vòng lặp không phải là một trạng thái vĩnh viễn giống nhau. Nó thường bắt đầu với một đánh giá nghiêm ngặt, sau đó được điều chỉnh theo rủi ro và chất lượng. Một số quyết định vẫn luôn do con người thực hiện; những quyết định khác có thể trở nên được giám sát theo mẫu.
Partitech có thể lập bản đồ rủi ro, thiết kế các giao diện phê duyệt, tích hợp kiểm toán và đo lường khối lượng công việc. Mục tiêu là kiểm soát con người thực sự bảo vệ quyết định mà không biến tự động hóa thành công việc đôi.
Hãy nói về dự án của bạn
Thiết kế một chuỗi xác thực con người phù hợp với rủi ro của bạn với Partitech. Liên hệ Partitech.