Một mô hình có thể tóm tắt, trích xuất hoặc chỉ trả lời dựa trên những thông tin mà nó nhận được. Trong các doanh nghiệp, những thông tin này được phân bổ giữa các thư mục chia sẻ, ứng dụng nghiệp vụ, cơ sở dữ liệu, email, intranet và tài liệu PDF. Chúng có các phiên bản, quyền hạn và chủ sở hữu khác nhau. Dự án AI do đó tiết lộ những vấn đề về dữ liệu vốn đã tồn tại.
Việc chuẩn bị không phải là dọn dẹp toàn bộ công ty trước khi bắt đầu. Nó là xây dựng, cho một trường hợp sử dụng xác định, một chuỗi dữ liệu đã biết, được phép, có thể đo lường và có thể duy trì.
Bắt đầu từ trường hợp sử dụng
Một trợ lý tài liệu, một công cụ trích xuất hóa đơn và một nhân viên sửa đổi đơn hàng không có cùng nhu cầu. Cần phải làm rõ:
- nhiệm vụ;
- người dùng;
- nguồn cần thiết;
- độ mới;
- chất lượng tối thiểu;
- dữ liệu bị cấm;
- quyết định hoặc hành động;
- bằng chứng mong đợi.
Sự chính xác này giới hạn việc lập danh mục và tránh một nền tảng dữ liệu trừu tượng không có kết quả.
Xây dựng một kho hàng có thể sử dụng
Đối với từng nguồn, thu thập:
- tên và hệ thống;
- chủ sở hữu nghiệp vụ;
- người phụ trách kỹ thuật;
- loại và khối lượng;
- định dạng;
- tần suất cập nhật;
- mức độ nhạy cảm;
- đối tượng được phép;
- chất lượng đã biết;
- cách thức truy cập;
- quy tắc lưu trữ;
- trạng thái tham chiếu.
Kho hàng phải được duy trì. Một bảng đã cố định từ đầu dự án không đảm bảo rằng nguồn sử dụng sau sáu tháng vẫn hợp pháp.
Mười khía cạnh của sự chuẩn bị
1. Kiểm kê
Các nguồn cần thiết đã được xác định và phạm vi của chúng được hiểu rõ.
2. Tài sản
Một người hoặc chức năng có thể xác nhận ý nghĩa, chất lượng, quyền truy cập và tuổi thọ.
3. Truy cập
Việc trích xuất được xác thực, có tài liệu và bền vững. Nó không dựa trên bản sao thủ công hoặc tài khoản cá nhân.
4. Chất lượng
Các trường quan trọng đầy đủ, nhất quán và đại diện. Các khiếm khuyết được đo lường so với nhiệm vụ.
5. Cấu trúc
Tiêu đề, phần, bảng, mối quan hệ và định danh có thể được giữ nguyên hoặc xây dựng lại.
6. Siêu dữ liệu
Ngôn ngữ, ngày tháng, phiên bản, trạng thái, loại, tác giả, thực thể và quyền đi kèm với nội dung.
7. Phiên bản và độ tươi
Hệ thống biết phiên bản nào đang có hiệu lực, khi nào nó đã thay đổi và khi nào AI cần được cập nhật.
8. Quyền và sự riêng tư
Các quyền có thể được sao chép trong chuỗi AI và bị thu hồi.
9. Truy xuất nguồn gốc
Một đầu ra có thể được liên kết với nguồn, với sự biến đổi của nó và với phiên bản của các thành phần.
10. Vòng đời
Việc sửa chữa, lưu trữ và xóa bỏ lan truyền đến các chỉ mục, bộ nhớ đệm và nhật ký.
Khả năng truy xuất dữ liệu từ nguồn của nó đến việc sử dụng bởi AI và việc xóa dữ liệu đó được lan truyền.
Chất lượng liên quan đến nhiệm vụ
Một dữ liệu không phải là "tốt" một cách tuyệt đối. Để tìm lại một thủ tục, tiêu đề, ngày tháng và trạng thái là điều thiết yếu. Để trích xuất một khoản tiền, chất lượng quét, loại tiền tệ và cấu trúc của bảng là quan trọng nhất.
Các kích thước có thể bao gồm tính đầy đủ, độ chính xác, sự nhất quán, tính duy nhất, sự mới mẻ và tính đại diện. Mỗi lỗi được liên kết với tác động của nó đối với trường hợp sử dụng.
Một mẫu được chú thích cho phép đo lường trước khi xử lý toàn bộ tập dữ liệu.
Phân biệt tham chiếu, bản sao và bản nháp
Nhiều phiên bản của một tài liệu có thể được lưu hành. Quy trình phải biết phiên bản nào là chính thức, những bản sao nào đã được lưu trữ và liệu một bản nháp có thể được sử dụng hay không. Chỉ riêng ngày tháng là không đủ: một tài liệu mới có thể chưa được phê duyệt.
Các quy tắc ưu tiên được mã hóa và có thể kiểm tra. Trong trường hợp xung đột, hệ thống sẽ thông báo thay vì chọn một cách im lặng.
Bảo tồn cấu trúc
Chuyển đổi một tệp PDF thành văn bản thuần có thể làm lẫn các cột, chú thích và tiêu đề. Bảng mất đi các mối quan hệ và tiêu đề mất đi thứ bậc của chúng. Việc trích xuất phải tạo ra một định dạng có cấu trúc với chất lượng được đo lường.
Đối với các tài liệu phức tạp, giữ lại:
- trang và thông tin liên hệ;
- tiêu đề và cấp độ;
- ô và đầu đề;
- danh sách;
- chú thích;
- liên kết;
- định danh tệp.
Cấu trúc này cải thiện việc nghiên cứu, trích dẫn và kiểm soát của con người.
Siêu dữ liệu và bối cảnh
Siêu dữ liệu cho phép lọc và giải thích: thực thể, sản phẩm, quốc gia, ngôn ngữ, ngày, phiên bản, trạng thái, danh mục và quyền. Chúng phải đến từ một nguồn đáng tin cậy hoặc từ một quá trình trích xuất mà mức độ tin cậy được giữ nguyên.
Một phân loại được tạo ra bởi mô hình không có cùng trạng thái với một trường được xác thực bởi nghiệp vụ. Nguồn gốc của phần mở rộng được ghi lại.
Sao chép các quyền
Sao chép tài liệu vào một chỉ mục duy nhất mà không có quyền tạo ra nguy cơ rò rỉ. Mô hình ủy quyền phải được hiểu: người dùng, nhóm, công ty, thư mục, trang web, vai trò hoặc thuộc tính.
Quyền có thể được thể hiện trong siêu dữ liệu của chỉ mục, phân vùng hoặc kiểm tra theo yêu cầu. Các thay đổi và xóa bỏ được lan truyền trong một khoảng thời gian xác định.
Các tài khoản kỹ thuật có quyền truy cập tối thiểu và các việc trích xuất được ghi nhật ký.
Giảm thiểu dữ liệu
Một dự án không nên nhập toàn bộ hồ sơ "phòng trường hợp". Lựa chọn các trường và tài liệu cần thiết giúp giảm rủi ro, chi phí và sự lộn xộn. Dữ liệu cá nhân hoặc bí mật có thể được che, giả danh hoặc loại trừ.
Việc giảm thiểu cũng liên quan đến các prompt, nhật ký, phản hồi và các bộ đánh giá. Các môi trường phát triển sử dụng dữ liệu tổng hợp hoặc được bảo vệ.
Truy xuất nguồn gốc từ đầu đến cuối
Mỗi mảnh hoặc bản ghi phải có thể được liên kết với:
- nguồn và phiên bản;
- ngày trích xuất;
- chuyển đổi;
- công cụ và phiên bản;
- các quy tắc làm giàu;
- chỉ mục;
- các đầu ra đã trích dẫn nó khi cần thiết.
Kênh này cho phép điều tra một lỗi và tái tạo sau khi cập nhật.
Quản lý việc xóa
Xóa ở nguồn là không đủ. Cần xóa hoặc vô hiệu hóa các bản sao, chỉ mục vector, bộ nhớ đệm, tệp tạm thời và bản sao lưu theo chính sách. Các kết quả lịch sử và nhật ký tuân theo một quy tắc riêng được xác định với những người có trách nhiệm.
Đường ống xóa được kiểm tra giống như đường ống nhập liệu. Một định danh ổn định giúp việc lan truyền dễ dàng hơn.
Đo độ tươi
Nhu cầu thay đổi: một chính sách có thể chấp nhận trong một ngày, một kho hàng chỉ vài phút. Độ tươi được theo dõi theo nguồn và hiển thị cho người dùng khi điều này ảnh hưởng đến câu trả lời.
Các sự kiện hoặc trích xuất định kỳ phải xử lý các lỗi. Một cảnh báo sẽ báo hiệu sự chậm trễ thay vì tiếp tục lặng lẽ với dữ liệu cũ.
Chuẩn bị một bộ tham chiếu
Trước khi có AI, chọn các ví dụ tiêu biểu và ghi lại kết quả mong đợi. Đối với việc trích xuất: các trường và giá trị. Đối với RAG: câu hỏi và nguồn. Đối với agent: trạng thái và các hành động được phép.
Trò chơi này dùng để so sánh các pipeline, mô hình và bản chỉnh sửa. Nó bao gồm các trường hợp khó, không đầy đủ và bị cấm.
Công nghiệp hóa việc tiếp nhận
Đường ống là:
- đơn nhất ;
- có phiên bản ;
- có thể quan sát ;
- có thể tiếp tục ;
- được kiểm tra ;
- an toàn ;
- có khả năng xử lý lỗi riêng lẻ.
Các thay đổi về định dạng hoặc nguồn sẽ kích hoạt cảnh báo. Một bảng điều khiển hiển thị khối lượng, lỗi, trì hoãn, trùng lặp và phạm vi.
Quản trị nhẹ nhưng thực sự
Một quản trị hữu ích không yêu cầu một ủy ban cho mỗi tệp. Nó xác định các chủ sở hữu, các lớp, các kiểm soát và một quy trình ngoại lệ. Các quyết định quan trọng có thể được truy xuất nguồn gốc.
Danh mục dữ liệu có thể bắt đầu từ phạm vi của dự án và mở rộng theo các mục đích sử dụng. Nó phải giữ liên kết với các hệ thống, không trở thành một tài liệu song song lỗi thời.
Xây dựng một backlog chuẩn bị
Cổ phiếu thường được phân chia theo ba tầm nhìn:
30 ngày
Kiểm kê, truy cập, mẫu, phân loại và các thử nghiệm đầu tiên.
90 ngày
Quy trình tái sản xuất được, siêu dữ liệu, quyền, chất lượng được đo lường và xóa.
Nền tảng
Hệ thống tham chiếu, quản trị, tự động hóa, khả năng quan sát và chia sẻ giữa các trường hợp sử dụng.
Người điều khiển có thể bắt đầu khi các rủi ro đã được kiểm soát trên một tập dữ liệu hạn chế, mà không cần chờ sự hoàn hảo toàn diện.
Dữ liệu như một sản phẩm đáng tin cậy
Một AI đáng tin cậy phụ thuộc vào dữ liệu mà ý nghĩa, chủ sở hữu, quyền và phiên bản của nó được biết đến. Việc chuẩn bị này cũng có lợi cho nghiên cứu, phân tích và các tích hợp truyền thống.
Partitech có thể kiểm toán các nguồn, thiết kế các đường ống, cấu trúc dữ liệu siêu và tích hợp quyền cho đến RAG hoặc đại lý. Mục tiêu là một chuỗi có thể truy nguyên và bảo trì, không phải là sao chép hàng loạt tài liệu vào một chỉ mục mới.
Hãy nói về dự án của bạn
Đánh giá độ sẵn sàng của dữ liệu của bạn cho một dự án AI với Partitech. Liên hệ Partitech.