Một ứng dụng truyền thống thay đổi khi mã hoặc cấu hình của nó thay đổi. Một ứng dụng sinh tạo cũng thay đổi khi nhà cung cấp cập nhật một mô hình, khi một lệnh nhắc được chỉnh sửa, khi một tài liệu được đưa vào chỉ mục hoặc khi một công cụ lộ một sơ đồ mới. Nếu không có khả năng truy xuất, hai câu trả lời khác nhau có thể có vẻ không giải thích được.
LLMOps tập hợp các thực hành cho phép đánh giá, triển khai, quan sát và phát triển các hệ thống này. Nó mở rộng DevOps và MLOps với các đặc thù của các mô hình sinh, RAG, các đại lý và sự đánh giá chất lượng.
Định nghĩa đơn vị sản xuất
Sản phẩm không chỉ là một mẫu mã. Nó bao gồm:
- ứng dụng ;
- hướng dẫn ;
- mẫu và tham số ;
- nguồn ;
- dây chuyền thu thập dữ liệu ;
- chỉ mục ;
- công cụ ;
- chính sách ;
- định dạng đầu ra ;
- đánh giá ;
- cơ sở hạ tầng.
Một phiên bản được giao phải xác định được tập hợp này. Thay đổi một yếu tố duy nhất có thể làm thay đổi chất lượng, chi phí hoặc sự an toàn.
Chín vật phẩm cần phiên bản hóa
1. Mã
Điều phối, API, giao diện và hậu xử lý theo chu kỳ phần mềm thông thường.
2. Lời nhắc và hướng dẫn
Chúng được lưu trữ như mã, được xem lại, kiểm tra và liên kết với các trường hợp đánh giá.
3. Mẫu
Nhà cung cấp, định danh chính xác, ngày, các thông số và tùy chọn đã được lưu. Một bí danh « latest » không đủ để tái tạo.
4. Dữ liệu nguồn
Các tài liệu và hồ sơ có mã định danh, phiên bản và trạng thái.
5. Quy trình xử lý dữ liệu đầu vào
Bộ trích xuất, cắt, nhúng, siêu dữ liệu và bộ lọc đều được phiên bản hóa.
6. Mục lục
Một phiên bản chỉ mục tương ứng với các nguồn và một pipeline. Nó có thể tồn tại cùng với phiên bản cũ trong khi đang thực hiện xác thực.
7. Công cụ
Sơ đồ, hành vi, quyền hạn và phiên bản của API đều đã được biết.
8. Chính sách
Định tuyến, từ chối, giới hạn, phê duyệt và quy tắc dữ liệu đều được phiên bản hóa.
9. Đánh giá
Các trò chơi về trường hợp, mục, thẩm phán và ngưỡng thay đổi cùng với sản phẩm.
Khả năng truy xuất nguồn gốc của một câu trả lời AI theo phiên bản mã, lời nhắc, mô hình, chỉ mục, nguồn, công cụ và chính sách.
Môi trường
Phát triển, thử nghiệm, tiền sản xuất và sản xuất phải tách biệt dữ liệu, khóa, hạn mức và công cụ. Các môi trường không phải sản xuất sử dụng tập dữ liệu được phép và các hành động mô phỏng.
Các mô hình bên ngoài có thể khác nhau tùy theo môi trường về chi phí, nhưng việc xác nhận cuối cùng phải sử dụng cấu hình mục tiêu. Các sai lệch được ghi nhận.
Một chuỗi giao hàng
Một sự thay đổi kích hoạt:
- kiểm soát tĩnh và sơ đồ;
- các bài kiểm tra định hướng;
- đánh giá nhanh;
- kiểm tra an ninh;
- so sánh với đường cơ sở ;
- tạp chí ;
- triển khai dần dần;
- quan sát ;
- khuyến mãi hoặc trả lại.
Ngưỡng quan trọng bị chặn. Một ngoại lệ có một chủ sở hữu và một thời hạn.
Triển khai dần dần
Một cấu hình mới có thể được kích hoạt cho một đội, một phần lưu lượng hoặc một loại nhiệm vụ. Việc định tuyến giữ phiên bản đã sử dụng để so sánh.
Chim hoàng yến phù hợp với chất lượng proxy, lỗi, độ trễ, chi phí và phản hồi. Đối với các trường hợp sử dụng có rủi ro, một đánh giá bằng con người bổ sung tạm thời sẽ được kích hoạt.
Việc quay lại phải bao gồm mô hình, prompt, chỉ mục và các công cụ tương thích, không chỉ mã.
Vẽ mà không lưu mọi thứ
Một dấu vết hữu ích bao gồm:
- ID yêu cầu;
- người dùng hoặc biệt danh tùy theo nhu cầu ;
- phiên bản ;
- các bước và thời lượng;
- công cụ ;
- tài liệu đã được xác định;
- token và chi phí ;
- lỗi;
- kết quả xác nhận;
- phản hồi.
Nó không tự động lưu trữ các lời nhắc đầy đủ, tài liệu nhạy cảm hoặc lập luận riêng tư. Việc giảm thiểu, che giấu, quyền hạn và việc lưu trữ được xác định.
Khả năng quan sát kỹ thuật
Theo dõi khả dụng, lỗi, hết thời gian, hạn mức, hàng đợi, thời gian của từng bước, kích thước ngữ cảnh, bộ nhớ đệm và tài nguyên. Các dấu vết phân tán nối API, tìm kiếm, mô hình và công cụ.
Các mục tiêu dịch vụ liên quan đến quá trình: thời gian đến kết quả, tỷ lệ hoàn thành nhiệm vụ và chế độ suy giảm.
Khả năng quan sát chất lượng
Chất lượng không chỉ được đo bằng các bản ghi kỹ thuật. Các tín hiệu bao gồm:
- từ chối ;
- thiếu nguồn;
- lỗi định dạng;
- sửa lỗi ;
- những vụ leo thang ;
- dụng cụ bị từ chối;
- các câu trả lời bị bỏ qua;
- trường hợp lính canh;
- mẫu được xem xét lại.
Các phản hồi được phân loại và thêm vào bộ dữ liệu hồi quy sau khi được xác nhận.
Chi phí
Theo dõi phân bổ chi phí và token theo đội, trường hợp sử dụng, phiên bản và giai đoạn. Ngân sách kích hoạt cảnh báo, định tuyến hoặc giới hạn.
Chi phí theo yêu cầu được bổ sung bởi chi phí theo nhiệm vụ thành công và chi phí xác thực con người. Việc giảm giá không biện minh cho việc giảm chất lượng.
Dòng dõi
Đối với một câu trả lời đã cho, đội phải tìm lại:
- mã ;
- nhắc nhở ;
- mẫu ;
- chỉ mục ;
- nguồn ;
- công cụ ;
- chính trị ;
- kết quả ;
- các đánh giá liên quan.
Khả năng truy xuất này cho phép điều tra, tái tạo gần đúng và thông báo có mục tiêu nếu một nguồn bị sai. Nó không yêu cầu lưu trữ một chuỗi suy nghĩ.
Quản lý thay đổi nhà cung cấp
Một nhà cung cấp có thể thay đổi một mẫu, các giới hạn hoặc một mức giá. Các phiên bản được ghim, các kiểm tra định kỳ và các cảnh báo hợp đồng giúp giảm bất ngờ.
Một lớp định tuyến cho phép kiểm tra một mô hình khác. Sự khác biệt về định dạng và khả năng vẫn rõ ràng thay vì bị che giấu.
Quản lý chỉ mục
Một embedding hoặc phân đoạn mới thường cần phải tái tạo. Chỉ mục được tạo bên cạnh cái cũ, được cung cấp dữ liệu, đánh giá rồi kích hoạt. Việc quay lại vẫn khả thi.
Các lỗi nhập liệu, chậm trễ và xóa bỏ đều được theo dõi. Một nguồn không được lập chỉ mục không được phép bị bỏ qua.
Quản lý các lời nhắc
Các prompt có một chủ sở hữu, một ý định, các bài kiểm tra và tài liệu về các biến. Chúng tránh các bí mật và dữ liệu được mã hóa cứng.
Một studio gợi ý có thể tạo điều kiện cho việc chỉnh sửa, nhưng nguồn sự thật vẫn được phiên bản hóa và xem xét. Các thay đổi trong sản xuất mà không có lịch sử bị cấm.
Quản lý sự cố AI
Một sự cố có thể là:
- rò rỉ ;
- hành động không được phép;
- câu trả lời nguy hiểm;
- mẫu không có sẵn ;
- chi phí bất thường;
- suy giảm chất lượng;
- nguồn đã hết hạn ;
- chỉ mục không đầy đủ.
Kế hoạch dự kiến cắt đứt, chế độ suy giảm, thu hồi, phân tích, sửa chữa, đánh giá và thông tin liên lạc. Các chịu trách nhiệm về sản phẩm, bảo mật, dữ liệu và kỹ thuật hợp tác.
RACI và quyền sở hữu
Mỗi hệ thống có:
- chủ sở hữu sản phẩm;
- trưởng bộ phận kỹ thuật;
- chủ sở hữu dữ liệu;
- an ninh;
- tuân thủ ;
- hỗ trợ ;
- ngân sách ;
- người quyết định khởi động.
Một nền tảng trung tâm có thể cung cấp các nền tảng cơ sở, trong khi mỗi trường hợp sử dụng đảm nhận dữ liệu và chất lượng của riêng nó.
Bắt đầu nhỏ
Một nền tảng tối thiểu bao gồm quản lý phiên bản, bộ đánh giá, dấu vết được liên kết, theo dõi chi phí, triển khai từng bước và khôi phục lùi. Một nền tảng phức tạp chỉ cần thiết khi các nhóm và cách sử dụng ngày càng tăng.
Các công cụ phải phục vụ cho quy trình, không phải thay thế nó. Một thỏa thuận đơn giản và tự động thì tốt hơn một danh mục tinh vi nhưng không được duy trì.
Khai thác AI như một sản phẩm
LLMOps biến một cấu hình đang thay đổi thành sản phẩm có thể quan sát được. Nó cho phép biết những gì đã thay đổi, những gì đã cải thiện và cách quay lại.
Partitech có thể thiết kế đường dẫn xử lý, các đánh giá, các dấu vết, quản lý phiên bản và vận hành RAG và các agent. Mục tiêu là giao hàng thường xuyên mà không mất kiểm soát về chất lượng, chi phí và rủi ro.
Hãy nói về dự án của bạn
Công nghiệp hóa các ứng dụng IA của bạn và khả năng quan sát của chúng với Partitech. Liên hệ Partitech.