Trao đổi về dự án
Tác nhân IA

Đại lý AI chuyên ngành kết nối với hệ thống thông tin: quyền hạn, khả năng truy xuất và bảo mật

Một tác nhân trở nên rủi ro vào thời điểm nó có thể hành động. An ninh phải bao phủ mỗi công cụ, mỗi nguồn lực và mỗi bước, không chỉ riêng mô hình.

Đại lý AI chuyên ngành kết nối với hệ thống thông tin: quyền hạn, khả năng truy xuất và bảo mật

Một chatbot trả lời. Một nhân viên có thể chọn một công cụ, chuẩn bị các tham số, kích hoạt một hành động và quan sát kết quả. Khả năng này mở ra các ứng dụng hữu ích: tạo một phiếu yêu cầu, chuẩn bị một đơn hàng, cập nhật một hồ sơ hoặc điều phối một cuộc tìm kiếm. Nó cũng thay đổi bản chất của rủi ro. Một phản hồi sai trở thành một hoạt động thực tế.

An toàn của một tác nhân không dựa trên thiện chí của nó hay trên một lệnh nhắc nhở nó phải cẩn thận. Nó dựa trên các công cụ có giới hạn, các quyền được kiểm tra, các xác nhận, tính không thay đổi và khả năng truy vết độc lập với mô hình.

Phân biệt cuộc trò chuyện, quyết định và thực hiện

Hệ thống phải tách ra:

  1. ý định được người dùng thể hiện;
  2. sự diễn giải và kế hoạch do mô hình đề xuất;
  3. quyết định cho phép;
  4. thực hiện bởi một dịch vụ xác định;
  5. kiểm tra kết quả.

Mô hình có thể gợi ý. Lớp chính sách quyết định xem công cụ có sẵn hay không, người dùng có quyền hay không và liệu có cần sự phê duyệt. Dịch vụ nghiệp vụ xác nhận các tham số và áp dụng các quy tắc như đối với bất kỳ giao diện nào khác.

Phổ biến danh tính người dùng

Một đại lý không được hành động dưới một tài khoản quản trị viên chung. Hành động phải liên quan đến danh tính, tổ chức và bối cảnh của người yêu cầu. Khi đại lý sử dụng một tài khoản dịch vụ, họ mang theo một sự ủy quyền có thể xác minh và có giới hạn.

Quyền được kiểm soát tại mỗi công cụ và tài nguyên. Một cuộc trò chuyện trước đó không cấu thành quyền hạn lâu dài. Các quyền uỷ nhiệm sẽ hết hạn và không thể được mô hình gia hạn.

Thiết kế các công cụ hẹp

Một công cụ an toàn tương ứng với một năng lực nghề nghiệp cụ thể : creer_brouillon_commande, rechercher_dossiers_autorises hoặc proposer_creneaux. Nó có một sơ đồ đầu vào nghiêm ngặt, các xác thực, một phạm vi và một kết quả có cấu trúc.

Ngược lại, một công cụexecuter_sql, appeler_url hoặc lancer_commandeđưa cho mô hình một không gian quá rộng. Ngay cả khi được bảo vệ bằng chỉ dẫn, nó cũng làm tăng đáng kể nguy cơ rò rỉ hoặc phá hủy.

Các công cụ chỉ hiển thị dữ liệu tối thiểu và che giấu các bí mật. Chúng không chấp nhận các tham số tự do khi có thể sử dụng danh sách cho phép.

Sắp xếp các cổ phiếu theo mức độ rủi ro

Một phân loại thực dụng có thể phân biệt:

  • đọc dữ liệu đã được phép;
  • đề xuất mà không thay đổi;
  • tạo lặp có thể đảo ngược trong bản nháp;
  • hành động có xác nhận của người dùng;
  • hành động với sự phê duyệt độc lập;
  • hành động bị cấm đối với đại lý.

Mức độ phụ thuộc vào tác động, phạm vi và khả năng đảo ngược. Gửi một bản nháp cho chính mình và gửi một hợp đồng cho một nghìn người nhận không thuộc cùng một chính sách.

Chu kỳ an toàn của một hành động tác nhân từ ý định đến kiểm tra và bù đắp.

Xem trước trước khi hành động

Đối với một hành động nhạy cảm, tác nhân tạo ra một biểu diễn rõ ràng: đối tượng, người nhận, dữ liệu thay đổi, số tiền, hậu quả và khả năng hoàn tác. Người dùng xác nhận hành động chính xác, không phải một cụm từ mơ hồ như « tiếp tục » sau nhiều lần trao đổi.

Xác nhận sẽ hết hạn và được liên kết với một băm của các tham số. Nếu đại lý thay đổi đơn hàng, cần xác thực lại.

Áp dụng tính bất biến

Các đại lý có thể lặp lại một cuộc gọi sau một khoảng thời gian chờ hoặc một phản hồi mơ hồ. Mỗi thao tác tạo hoặc thanh toán sử dụng một khóa idempotence và trả về trạng thái của một nỗ lực đã tồn tại.

Công cụ phân biệt thất bại trước khi thực hiện, kết quả không xác định và thành công. Mô hình không được đoán rằng một thao tác đã thất bại và tự do thực hiện lại.

Kiểm tra kết quả

Một phản hồi HTTP thành công không đảm bảo rằng mục tiêu kinh doanh đã đạt được. Sau khi thực thi, hệ thống sẽ đọc lại trạng thái, kiểm tra các bất biến và so sánh với kết quả mong đợi.

Nhân viên chỉ thông báo những gì đã được xác nhận. Họ có thể nói rằng một yêu cầu đang "được ghi nhận và chờ xử lý" thay vì "đã xử lý" khi quy trình làm việc chưa hoàn tất.

Dự kiến bồi thường

Một số hành động có thể được hủy bỏ; những hành động khác cần một thao tác ngược lại hoặc một can thiệp. Mỗi công cụ ghi lại:

  • cửa sổ hủy bỏ;
  • có thể bồi thường;
  • dữ liệu cần lưu giữ;
  • người chịu trách nhiệm;
  • thông tin cần gửi.

Một giao dịch tài chính hoặc một tin nhắn bên ngoài có thể khó đảo ngược. Ngưỡng phê duyệt phải được xem xét đến điều này.

Phòng chống việc tiêm lệnh nhanh

Các email, trang và tài liệu được xem có thể chứa các chỉ dẫn độc hại. Hệ thống xử lý chúng như dữ liệu. Chúng không thể thay đổi danh sách công cụ, chính sách hoặc bí mật.

Dữ liệu thu thập được được phân tách, các hành động yêu cầu các quy tắc độc lập và các kết quả được lọc trước khi được sử dụng làm tham số. Một hướng dẫn từ nội dung bên ngoài không thể kích hoạt việc phê duyệt.

Giới hạn việc rò rỉ dữ liệu

Một công cụ gửi hoặc lưu trữ bên ngoài có thể được sử dụng để rút dữ liệu. Các điểm đến được kiểm soát: tên miền, tài khoản, kênh và dung lượng. Các tệp đính kèm và trường nhạy cảm được phát hiện theo chính sách của tổ chức.

Đại lý không nhận các bí mật API. Các kết nối sử dụng chúng ở phía máy chủ và không bao giờ gửi chúng trở lại trong kết quả.

Bộ nhớ và bối cảnh

Bộ nhớ hội thoại có thể trộn lẫn các hồ sơ, người dùng hoặc khoảng thời gian. Mỗi mục được ghi nhớ đều có chủ sở hữu, phạm vi và thời hạn. Các dữ liệu nhạy cảm không được lưu giữ theo mặc định.

Trước một hành động, các tham số quan trọng được đọc lại từ nguồn sự thật, không phải từ bản tóm tắt cuộc trò chuyện có thể đã lỗi thời.

Nhật ký kiểm toán

Nhật ký phải cho phép tái tạo lại:

  • yêu cầu và danh tính;
  • phiên bản chính sách;
  • kế hoạch và công cụ được chọn;
  • cài đặt được xác nhận;
  • phê duyệt;
  • cuộc gọi và kết quả;
  • kiểm tra;
  • lỗi hoặc bồi thường.

Các lời nhắc đầy đủ không nên được lưu giữ nếu không cần thiết. Việc ghi nhật ký tuân thủ nguyên tắc giảm thiểu, quyền truy cập và thời gian lưu trữ.

Môi trường và giới hạn

Các nhân viên kiểm thử không sử dụng công cụ sản xuất. Các hành động bị giới hạn bởi số tiền, khối lượng, tần suất, thời gian và phạm vi. Một cơ chế ngắt cho phép vô hiệu hóa một công cụ hoặc một nhân viên nhanh chóng.

Các cuộc gọi đi, tải xuống và thực thi mã có thể được đặt trong các môi trường cách ly với mạng và thời gian hạn chế.

Kiểm tra các kịch bản đối lập

Các bài kiểm tra bao gồm:

  • hướng dẫn độc hại trong một tài liệu;
  • người dùng không có quyền;
  • tích lũy các vai trò;
  • tham số ngoài sơ đồ;
  • lặp lại sau thời hạn;
  • công cụ không khả dụng;
  • phản hồi một phần;
  • cố gắng gửi đến đích bị cấm;
  • phê duyệt hết hạn;
  • thay đổi tham số sau khi xác nhận.

Các hành vi mong đợi được tự động hóa khi có thể và được phát lại mỗi khi có sự thay đổi mô hình hoặc lời nhắc.

Giám sát sự tự chủ

Các chỉ số theo dõi tỷ lệ các hành động được đề xuất, phê duyệt, sửa đổi, thất bại, hủy bỏ và bù đắp. Chênh lệch giữa kế hoạch và kết quả được phân tích. Một khối lượng bất thường hoặc một điểm đến mới sẽ kích hoạt cảnh báo.

Tính tự chủ có thể được tăng dần cho một công cụ ổn định, trên các khoản và nhóm người hạn chế. Nó cũng có thể được giảm ngay lập tức.

Xây dựng một trường hợp sử dụng đầu tiên

Người lái tốt nhất thường xuyên, hạn hẹp, có thể đảo ngược và có thể đo lường. Ví dụ: tìm kiếm thông tin được phép, chuẩn bị bản nháp, yêu cầu phê duyệt rồi tạo một nhiệm vụ. Nó tránh các khoản thanh toán, xóa hàng loạt hoặc các quyết định quy định.

Người điều khiển thiết lập các nền tảng có thể tái sử dụng: danh tính, engine chính sách, đăng ký công cụ, phê duyệt, kiểm toán và khả năng quan sát.

Nhân viên như người dùng mới của hệ thống thông tin

Một tác nhân phải được coi như một diễn viên ở mức độ tự động hóa cao, phải chịu nhiều kiểm soát hơn, không phải ít hơn. Các quy tắc nghiệp vụ vẫn nằm trong các dịch vụ, quyền hạn bị giới hạn và mỗi hành động đều có thể chứng minh được.

Partitech có thể thiết kế các tác nhân kết nối với ứng dụng, API và dữ liệu, với các công cụ chặt chẽ, quản trị quyền hạn và xác nhận của con người. Giá trị đến từ việc tự động hóa an toàn một quy trình, không phải từ số lượng công cụ mà mô hình có thể truy cập.

Hãy nói về dự án của bạn

Xác định và bảo vệ một quy trình tác nhân đầu tiên với Partitech. Liên hệ Partitech.

Chia sẻ bài viết