Các mô hình mà trọng số có thể được tải xuống đã tiến triển đến mức làm cho các trợ lý riêng tư, xử lý tài liệu, mã và một số tương tác đa phương tiện trở nên đáng tin cậy mà không cần gửi tất cả dữ liệu đến một API công cộng. Đồng thời, việc lượng tử hóa và các runtime cho phép chạy các mô hình nhỏ hơn trên các máy chủ nhỏ gọn, các trạm làm việc và đôi khi là các thiết bị biên.
Sự phát triển này không có nghĩa là mọi mô hình đều có thể được cài đặt trên một máy tính xách tay hoặc việc tự lưu trữ sẽ tự động rẻ hơn. Cần phải phân tích giấy phép, chất lượng, bộ nhớ, băng thông, bảo mật, cập nhật và việc khai thác.
Các mẫu, giấy phép và ưu đãi phát triển nhanh chóng; mọi tham chiếu đều phải được xác nhận lại trước khi xuất bản hoặc chọn kiến trúc.
« Mở » có thể chỉ đến nhiều thực tế khác nhau
Một mô hình có thể xuất bản:
- cân nặng của nó;
- mã suy luận của nó;
- công thức tập luyện của anh ấy;
- một phần dữ liệu ;
- một giấy phép cho phép một số sử dụng;
- chỉ một API.
Các thuật ngữ « open source », « open weights » và « disponible au téléchargement » không thể hoán đổi cho nhau. Giấy phép phải được đọc để biết việc sử dụng thương mại, phân phối lại, tinh chỉnh, các ngành hạn chế và các nghĩa vụ ghi nguồn.
Một mẫu hồ sơ nghiêm túc mô tả kiến trúc, giới hạn, ngôn ngữ, đánh giá và điều kiện sử dụng. Nó không thay thế cho một đánh giá nội bộ.
Tại sao tự lưu trữ
Những động cơ có thể là:
- dữ liệu nhạy cảm ;
- hoạt động ngoại tuyến;
- độ trễ cục bộ ;
- chi phí ổn định ở khối lượng cao;
- tùy chỉnh ;
- kiểm soát phiên bản;
- tính có thể đảo ngược;
- yêu cầu công nghiệp hoặc địa lý.
Những lợi ích này có một cái giá: năng lực GPU, đội ngũ vận hành, giám sát, bảo mật, cập nhật và quản lý các đỉnh cao.
Các trường hợp sử dụng thực tế nhất
Phân loại và trích xuất
Một mô hình chuyên dụng gọn nhẹ có thể phân loại, chuẩn hóa hoặc trích xuất các trường với định dạng hạn chế. Chất lượng được đánh giá trên một tập hợp dữ liệu chuyên ngành.
RAG tư nhân
Mô hình tạo ra từ một chỉ mục nội bộ. Các embedding, việc tìm kiếm và mô hình đều có thể được triển khai trong một môi trường được kiểm soát.
Hỗ trợ mã
Một mô hình cục bộ có thể bổ sung, giải thích hoặc biến đổi mã mà không cần gửi kho lưu trữ cho bên thứ ba. Các nhiệm vụ đại lý kéo dài đòi hỏi nhiều khả năng hơn và môi trường kiểm soát an toàn (sandbox).
Xử lý ở biên
Kiểm tra trực quan, phiên âm, phát hiện hoặc hỗ trợ có thể hoạt động gần nguồn để giảm độ trễ và duy trì dịch vụ không cần mạng.
Chế độ suy giảm
Một ứng dụng có thể sử dụng mô hình cục bộ cho các chức năng thiết yếu và một API có khả năng cao hơn cho các trường hợp phức tạp khi kết nối và chính sách cho phép.
Kích thước mà không chỉ dựa vào số lượng tham số
Trọng lượng bộ nhớ phụ thuộc vào độ chính xác. Như một chỉ số ước lượng, một tham số 16 bit tiêu tốn hai byte trước các phí bổ sung; với 4 bit, khoảng nửa byte. Runtime, bộ đệm, bộ nhớ đệm chú ý và sự đồng thời làm tăng mức tiêu thụ đáng kể.
Chiều dài ngữ cảnh làm tăng bộ nhớ đệm KV. Tốc độ phụ thuộc vào băng thông bộ nhớ, kiến trúc và lô. Hai mô hình cùng kích thước có thể có các đặc điểm rất khác nhau.
Chuỗi về xác thực, định lượng, triển khai, giám sát và cập nhật một mô hình mở.
Định lượng: thỏa hiệp, không phải nén miễn phí
Việc lượng hóa giúp giảm bộ nhớ và có thể tăng tốc suy luận. Nó cũng có thể làm giảm chất lượng một số tác vụ, ngôn ngữ, phép tính hoặc kết quả có cấu trúc. Tác động phụ thuộc vào mô hình và phương pháp.
Cần so sánh phiên bản mục tiêu trên bộ đánh giá, với cùng các lời nhắc và tham số. Một định lượng mạnh có thể vẫn chấp nhận được cho việc phân loại và không đủ cho việc tổng hợp chính xác.
Các hiện vật được định lượng có nguồn gốc, dấu vân tay và giấy phép đã được xác minh.
CPU, GPU và bộ tăng tốc edge
CPU có thể đủ cho khối lượng thấp hoặc mô hình nhỏ gọn, với độ trễ cao hơn. GPU mang lại băng thông và thời gian phản hồi, nhưng gây ra giới hạn về bộ nhớ và khai thác. Bộ gia tốc di động hoặc công nghiệp thường áp đặt các định dạng và toán tử cụ thể.
Benchmark phải được thực hiện trên phần cứng mục tiêu. Các con số công khai sử dụng các batch, ngữ cảnh và tối ưu hóa không phải lúc nào cũng phù hợp với việc sử dụng thực tế.
Edge AI: đưa việc tính toán gần dữ liệu hơn
L’edge có liên quan khi:
- mạng lưới bị gián đoạn;
- độ trễ phải rất thấp;
- dữ liệu không được rời khỏi trang web ;
- thể tích tổng quá cao;
- một quyết định địa phương phải tiếp tục trong suốt một sự cố.
Kiến trúc có thể tiền xử lý tại chỗ rồi sau đó đồng bộ hóa các kết quả. Các mô hình và chính sách được ký, phiên bản hóa và triển khai theo từng đợt.
Một thiết bị edge có những hạn chế về nhiệt, năng lượng và lưu trữ. Các chức năng quan trọng phải duy trì một phương án dự phòng xác định khi mô hình không khả dụng.
An ninh chuỗi cung ứng
Tải trọng lượng và thời gian chạy sẽ thêm các hiện vật bên ngoài. Cần kiểm soát:
- nguồn ;
- dấu vết ;
- định dạng ;
- mã đã thực thi;
- phụ thuộc;
- các lỗ hổng
- giấy phép ;
- hành vi mạng;
- mẫu cập nhật.
Các định dạng có khả năng thực thi mã được xử lý một cách thận trọng. Quá trình chuyển đổi được thực hiện trong một môi trường cô lập.
An toàn vận hành
Dịch vụ suy diễn được xác thực, giới hạn và phân đoạn. Các prompt, kết quả và bộ nhớ đệm có thể chứa dữ liệu nhạy cảm. Các bản ghi nhật ký giảm thiểu chúng và quyền truy cập được kiểm toán.
Tự lưu trữ không loại bỏ được việc tấn công prompt, rò rỉ dữ liệu hay lạm dụng công cụ. Nó mang lại nhiều quyền kiểm soát hơn đối với các thành phần, với điều kiện là phải bảo mật chúng.
Cập nhật và phục hồi
Một phiên bản mô hình mới có thể cải thiện một chuẩn đánh giá và thay đổi các từ chối, định dạng hoặc cách sử dụng ngôn ngữ. Nó bao gồm:
- bằng cấp giấy phép;
- quét và chuyển đổi ;
- đánh giá ngoại tuyến;
- kiểm tra tải ;
- chim hoàng yến ;
- quan sát ;
- khuyến mãi ;
- khả năng trả lại.
Các thiết bị edge có thể ngoại tuyến. Cơ chế cập nhật phải xử lý khôi phục, chữ ký, dung lượng đĩa và phiên bản tối thiểu.
Chi phí toàn bộ
So sánh :
- mua hoặc thuê công suất;
- tỷ lệ sử dụng ;
- năng lượng ;
- làm mát ;
- lưu trữ ;
- mạng lưới ;
- hỗ trợ ;
- an ninh;
- kỹ thuật ;
- gia hạn ;
- khả năng tiên tiến.
Một API có thể vẫn kinh tế hơn đối với khối lượng thấp và không đều. Một năng lực riêng trở nên hấp dẫn khi việc sử dụng ổn định, dữ liệu nhạy cảm hoặc kiểm soát chiến lược.
Kiến trúc lai
Một cầu nối có thể định tuyến theo độ nhạy, độ phức tạp và khả năng sẵn có. Một mô hình nhỏ cục bộ xử lý các trường hợp tiêu chuẩn; một mô hình bên ngoài đảm nhận các nhiệm vụ phức tạp được phép. Các đánh giá đảm bảo rằng việc định tuyến không làm giảm chất lượng một cách âm thầm.
Định dạng của các prompt, công cụ và đầu ra đủ linh hoạt để thay đổi mô hình, đồng thời giữ nguyên các khác biệt rõ ràng.
Đánh giá một giải pháp mở
Giao thức phải đo:
- độ chính xác ;
- ngôn ngữ ;
- định dạng ;
- an ninh;
- độ trễ ở token đầu tiên ;
- tốc độ dòng chảy ;
- ký ức ;
- năng lượng ;
- ổn định;
- chi phí cho mỗi nhiệm vụ hoàn thành.
Các trường hợp dài, mơ hồ và bất lợi đều được bao gồm. Chuẩn đánh giá công khai không thay thế cho chiến dịch này.
Quản trị mô hình
Sổ đăng ký chứa tên, phiên bản, giấy phép, nguồn gốc, các sử dụng được phép, chủ sở hữu, kết quả đánh giá, môi trường và ngày xem xét. Một mô hình chưa được phê duyệt không thể triển khai trên dữ liệu nhạy cảm.
Các mô hình bị bỏ rơi hoặc dễ bị tổn thương được loại bỏ kèm theo một kế hoạch di cư.
Một tùy chọn kiến trúc mới
Các mô hình mở và edge mở rộng các lựa chọn. Chúng làm cho việc IA địa phương hơn, được kiểm soát và bền bỉ hơn trở nên khả thi, nhưng đòi hỏi một kỹ thuật thực sự về sản phẩm và vận hành.
Partitech có thể so sánh các mô hình, xây dựng tiêu chuẩn đánh giá, định cỡ hạ tầng, tích hợp các môi trường chạy và thiết lập chuỗi phiên bản cũng như giám sát. Mục tiêu là triển khai mở dựa trên nhu cầu, không phải vì lời hứa miễn phí.
Hãy nói về dự án của bạn
Đánh giá và tạo nguyên mẫu một kiến trúc AI mở hoặc edge với Partitech. Liên hệ Partitech.