Một doanh nghiệp muốn sử dụng mô hình sinh tạo phải quyết định dữ liệu sẽ đi đâu, ai vận hành mô hình, những dấu vết nào được lưu giữ và cách đổi nhà cung cấp. Từ "có chủ quyền" bao hàm nhiều kỳ vọng: cư trú, kiểm soát pháp lý, làm chủ kỹ thuật, độc lập về kinh tế, phần mềm mở hoặc khả năng hoạt động mà không phụ thuộc vào một nhân tố nhất định.
Không có kiến trúc nào tối đa hóa đồng thời chất lượng, sự đơn giản, tính đàn hồi, chi phí và kiểm soát. Một quyết định vững chắc bắt đầu bằng cách phân loại các ứng dụng và dữ liệu, sau đó so sánh các kịch bản với cùng các tiêu chí.
Xác định chủ quyền mong muốn
Một tổ chức có thể tìm kiếm:
- sự bảo mật, để tránh việc sử dụng hoặc lưu giữ trái phép ;
- việc định vị, để xử lý trong một khu vực hoặc một quốc gia nhất định ;
- việc kiểm soát hoạt động, để quản lý truy cập, nhật ký và phiên bản ;
- tính di động, để thay đổi mẫu hoặc nhà cung cấp dịch vụ;
- tính tự chủ, để tiếp tục hoạt động mà không phụ thuộc vào bên ngoài;
- sự minh bạch, nhờ vào các trọng lượng hoặc thành phần mở;
- sự làm chủ kinh tế, để tránh chi phí biến đổi không kiểm soát được.
Những khía cạnh này cần được cân nhắc. Một API có thể cung cấp các đảm bảo hợp đồng xuất sắc mà không trao quyền kiểm soát mô hình. Một máy chủ tại chỗ có thể cung cấp quyền kiểm soát hạ tầng trong khi vẫn phụ thuộc vào GPU, phần mềm hoặc giấy phép nước ngoài.
Phân loại dữ liệu và hành động
Cùng một dự án có thể xử lý nội dung công khai, các ghi chú nội bộ, dữ liệu cá nhân và bí mật. Xử lý chúng trong một môi trường duy nhất đòi hỏi mức kiểm soát cao nhất cho tất cả các mục đích sử dụng, thường với một chi phí không cần thiết.
Một phân loại thực tiễn phân biệt:
- công khai ;
- nội bộ ;
- bí mật;
- được quy định hoặc bị giới hạn theo hợp đồng;
- chỉ trích bí mật.
Cô ấy cũng nêu rõ các dữ liệu phụ: prompts, embeddings, nhật ký, bộ nhớ đệm, đánh giá và kết quả. Một câu trả lời được tạo ra từ dữ liệu nhạy cảm cũng có thể là nhạy cảm.
Năm kịch bản kiến trúc
1. API công cộng
Nhà cung cấp vận hành mô hình và cơ sở hạ tầng. Việc tích hợp diễn ra nhanh chóng, khả năng linh hoạt và các mô hình mới nhất có thể truy cập được. Cần kiểm tra việc lưu giữ, đào tạo, nhà thầu phụ, vùng, bảo mật và điều kiện rút lui.
Tùy chọn này phù hợp với dữ liệu tương thích với các bảo đảm đã đạt được và với các ứng dụng nơi chất lượng hoặc tốc độ đổi mới được ưu tiên.
2. API với môi trường hoặc khu vực riêng
Một số dịch vụ cung cấp xử lý theo vùng, khả năng chuyên dụng hoặc các kiểm soát tăng cường. Điều này có thể đáp ứng các yêu cầu về hiệu suất và quản trị, nhưng vẫn là một dịch vụ do bên thứ ba vận hành. Các điều khoản chính xác của hợp đồng là cơ sở pháp lý.
3. Đám mây riêng được quản lý
Mô hình được triển khai trong một môi trường tách biệt hoặc một dịch vụ được kiểm soát, với một phần hoạt động được đảm nhiệm bởi nhà cung cấp. Sự thỏa hiệp này giảm bớt gánh nặng nội bộ đồng thời cải thiện việc kiểm soát. Khả năng di động và quyền truy cập của người vận hành cần được đánh giá.
4. Cơ sở hạ tầng tư nhân được lưu trữ
Tổ chức hoặc nhà quản lý CNTT của nó vận hành các mô hình trong một hạ tầng chuyên dụng. Nó kiểm soát nhiều hơn mạng, phiên bản, nhật ký và mã hóa. Nó phải điều chỉnh GPU, các bản cập nhật, khả năng phục hồi và bảo mật.
5. Tại chỗ
Việc tính toán được thực hiện tại cơ sở hoặc trong một môi trường được kiểm soát hoàn toàn. Giải pháp này có thể đáp ứng những yêu cầu nghiêm ngặt về kết nối hoặc dữ liệu. Nó đòi hỏi một khoản đầu tư, kỹ năng chuyên môn và một kế hoạch thay thế. Chất lượng có sẵn phụ thuộc vào khả năng phần cứng và các mô hình có thể triển khai.
Một định tuyến lai hướng các yêu cầu AI đến các môi trường khác nhau tùy theo mức độ nhạy cảm của dữ liệu.
Một kiến trúc lai thường là câu trả lời
Các ứng dụng công cộng hoặc ít nhạy cảm có thể sử dụng một API hiệu suất cao. Các nội dung mật có thể được điều hướng tới một mô hình riêng tư. Các bí mật quan trọng có thể được giữ riêng biệt khỏi mọi xử lý sinh tạo hoặc được hỗ trợ bởi một khả năng cục bộ được kiểm soát chặt chẽ.
Định tuyến dựa trên:
- phân loại dữ liệu ;
- danh tính và vai trò;
- nhiệm vụ ;
- mẫu được cho phép ;
- chi phí và độ trễ;
- mức ghi nhật ký ;
- cơ chế co lại.
Chính sách phải được áp dụng phía máy chủ. Người dùng không được tự do chọn một nhà cung cấp để né tránh các quy tắc.
So sánh chất lượng hữu dụng, không phải uy tín của mẫu
Một mô hình lớn hơn không phải lúc nào cũng tốt hơn cho một nhiệm vụ. Cần phải thử nghiệm trên các ngôn ngữ, định dạng và hướng dẫn thực tế: trích xuất, phân loại, tóm tắt, mã, RAG hoặc hội thoại.
Trò chơi đánh giá đo lường độ chính xác, tuân thủ định dạng, từ chối, độ trễ và chi phí. Một kiến trúc riêng có thể sử dụng một mô hình chuyên biệt nhỏ hơn nếu nhiệm vụ có giới hạn. Một API bên ngoài có thể vẫn cần thiết cho các trường hợp phức tạp.
Kích thước cơ sở hạ tầng riêng
Suy luận phụ thuộc vào kích thước của mô hình, lượng hóa, ngữ cảnh, số lượng yêu cầu đồng thời và độ trễ. Tốc độ trung bình là không đủ: các đỉnh, hàng đợi, thời gian tải và bảo trì phải được bao gồm.
Việc xác định kích thước dự kiến:
- GPU và bộ nhớ ;
- sự dư thừa ;
- lưu trữ trọng lượng;
- mạng lưới ;
- bộ lập lịch ;
- ẩn ;
- giám sát ;
- cập nhật ;
- khả năng phục hồi.
Một hàng đợi và các ưu tiên có thể hấp thụ một số tác vụ không đồng bộ. Các tương tác thời gian thực đòi hỏi khả năng được dành riêng.
Chi phí toàn bộ
Một API thường tính phí theo mức sử dụng, cộng thêm tích hợp, khả năng quan sát và quản trị. Một cơ sở hạ tầng riêng biến một phần chi phí thành đầu tư hoặc năng lực dự trữ, nhưng thêm việc vận hành, năng lượng, hỗ trợ, khấu hao và sử dụng thấp.
Chi phí phải được tính theo từng tác vụ thành công và theo mức dịch vụ. Một mô hình nội địa rẻ nhưng thường xuyên phải chỉnh sửa thủ công có thể tốn kém hơn so với một API chất lượng tốt hơn.
Giấy phép và mô hình mở
Các trọng số có sẵn không có nghĩa là không có điều kiện. Cần kiểm tra giấy phép của mô hình, các hạn chế về sử dụng, các thành phần, dữ liệu tinh chỉnh và khả năng phân phối lại.
Sự mở cửa tạo điều kiện thuận lợi cho việc kiểm toán, khả năng di chuyển và cá nhân hóa, nhưng tổ chức vẫn chịu trách nhiệm về bảo mật, cập nhật và hành vi của hệ thống.
Kiểm soát hợp đồng cho một API
Thẩm định phải bao gồm:
- sử dụng đầu vào và đầu ra để huấn luyện;
- thời gian bảo quản ;
- vị trí xử lý ;
- các nhà thầu phụ;
- mã hóa ;
- truy cập hỗ trợ ;
- thông báo sự cố ;
- khả năng sẵn có ;
- thay đổi mô hình;
- xuất khẩu và xoá ;
- kiểm toán và bằng chứng.
Những lời hứa về tiếp thị không thay thế cho các điều kiện áp dụng đối với dịch vụ và tài khoản sử dụng.
An ninh của một cơ sở hạ tầng tư nhân
Tự lưu trữ không làm cho hệ thống trở nên an toàn. Cần quản lý danh tính, bí mật, mạng, hình ảnh, phụ thuộc, mô hình, dữ liệu tạm thời và nhật ký. Các giao diện quản trị được cách ly và việc truy cập GPU được kiểm soát.
Các mô hình và hiện vật được kiểm tra trước khi triển khai. Chuỗi cung ứng, việc tải xuống và các bản cập nhật tuân theo một quy trình đã được phê duyệt.
Tính di động
Một lớp trừu tượng có thể chuẩn hóa việc gọi, lỗi, khả năng quan sát và các chính sách giữa các nhà cung cấp. Nó không nên che giấu sự khác biệt về khả năng đến mức giảm tất cả các mô hình xuống mẫu số chung nhỏ nhất.
Các lời nhắc, đánh giá và kết quả có cấu trúc được phiên bản hóa. Dữ liệu được lưu trữ ở các định dạng có thể xuất. Một kịch bản thay đổi được kiểm tra trước khi nó trở nên cấp bách.
Khai thác và kỹ năng
Một nền tảng riêng tư cần MLOps, bảo mật, hạ tầng và hỗ trợ. Các mô hình cần được cập nhật, đánh giá, triển khai dần dần và giám sát. Các sự cố có thể liên quan đến chất lượng, trôi dạt, bão hòa hoặc rò rỉ dữ liệu.
Tổ chức phải quyết định những gì mình tự thực hiện và những gì giao cho một đối tác. Chủ quyền có thể bao gồm khả năng thay đổi nhà vận hành, không nhất thiết phải tự thực hiện mọi thứ.
Một quyết định theo từng trường hợp sử dụng
Lựa chọn tốt kết hợp dữ liệu, rủi ro, chất lượng, khối lượng và năng lực. Một danh mục sử dụng có thể sử dụng nhiều môi trường với một chính sách chung. Cách tiếp cận này tránh việc quá mức hóa các nhiệm vụ đơn giản hoặc phơi bày những nhiệm vụ nhạy cảm nhất.
Partitech thiết kế các kiến trúc AI mở và lai, tích hợp API và triển khai các mô hình riêng. Hỗ trợ có thể bao gồm phân loại, đánh giá, định mức, bảo mật, định tuyến và khả năng đảo ngược nhằm xây dựng một chủ quyền có thể kiểm chứng thay vì chỉ là một lập luận kinh doanh đơn thuần.
Hãy nói về dự án của bạn
So sánh với Partitech các kiến trúc lưu trữ của dự án AI của bạn. Liên hệ Partitech.