Khi một người dùng không tìm thấy một sản phẩm, tài liệu hoặc thư mục, vấn đề không phải lúc nào cũng do thuật toán. Dữ liệu có thể không đầy đủ, các bộ lọc khó hiểu, quyền hạn bị áp dụng sai hoặc từ vựng khác với nội dung. Một tìm kiếm hữu ích là một sản phẩm hoàn chỉnh liên kết lập chỉ mục, tính liên quan, giao diện và đo lường.
Tìm kiếm vector mang lại khả năng gần gũi các công thức. Nó không thay thế độ chính xác của văn bản đầy đủ, các tài liệu tham khảo chính xác hay các bộ lọc theo ngành. Trong nhiều trường hợp, một sự kết hợp lai là giải pháp tốt nhất, với điều kiện có thể đánh giá được nó.
Bắt đầu với các nhiệm vụ nghiên cứu
Các yêu cầu thể hiện những ý định khác nhau :
- Truy cập một mục được biết tên hoặc tham chiếu.
- khám phá một danh mục;
- lọc theo các thuộc tính;
- tìm một nội dung trả lời một câu hỏi;
- so sánh các tùy chọn;
- tiếp tục một hồ sơ gần đây;
- khám phá một thông tin liên quan.
Động cơ phải nhận diện các gia đình này và giao diện phải hỗ trợ chúng. Một thanh duy nhất có thể cung cấp tìm kiếm, bộ lọc, gợi ý và lịch sử mà không xử lý tất cả các ý định theo cùng một cách.
Chất lượng dữ liệu đi trước thuật toán
Chỉ mục phải có tiêu đề, mô tả, phân loại, định danh, ngày tháng, ngôn ngữ, trạng thái và quyền truy cập đáng tin cậy. Các bản sao trùng lặp, nội dung rỗng và các đơn vị không nhất quán làm giảm mức độ phù hợp.
Một quy trình lập chỉ mục tài liệu:
- nguồn sự thật ;
- biến đổi ;
- các trường có thể tìm kiếm;
- trường có thể lọc;
- phân tích ngôn ngữ;
- tần suất cập nhật;
- xóa bỏ ;
- lỗi và khôi phục.
Sự tươi mới phải có thể nhìn thấy được khi việc lập chỉ mục diễn ra không đồng bộ.
Toàn văn vẫn là điều cần thiết
Các công cụ tìm kiếm từ vựng phân tích các từ, hình thức của chúng, vị trí và tần suất. Chúng hiệu quả đối với tên riêng, tham chiếu, cụm từ chính xác và nội dung được cấu trúc tốt.
Các thiết lập liên quan đến:
- trọng số của các trường;
- phân tích theo ngôn ngữ;
- từ đồng nghĩa ;
- khả năng chịu lỗi;
- sự gần gũi của các thuật ngữ;
- sự phổ biến hay sự tươi mới;
- quy tắc nghiệp vụ được kiểm soát.
Một mã sản phẩm không nên được sửa chữa như một lỗi phổ biến. Các trường kỹ thuật có thể sử dụng một bộ phân tích cụ thể.
Bộ lọc và các khía cạnh mang lại sự kiểm soát
Trong một danh mục hoặc ứng dụng nghiệp vụ, người dùng thường gặp phải các ràng buộc: trạng thái, ngày, địa điểm, danh mục, chứng nhận hoặc chủ sở hữu. Các mặt giúp thu hẹp không gian tìm kiếm và giải thích cấu trúc của các kết quả.
Các giá trị phải được chuẩn hóa, dễ hiểu và đi kèm với các tài khoản nhất quán. Các bộ lọc đang hoạt động có thể nhìn thấy, xóa và chia sẻ trong URL khi điều đó không tiết lộ thông tin nhạy cảm.
Những gì tìm kiếm vector mang lại
Một mô hình nhúng biểu diễn các truy vấn và nội dung dưới dạng vectơ. Sự gần gũi có thể tìm lại một cách diễn đạt tương tự hoặc một khái niệm ngay cả khi không có từ chung. Nó hữu ích cho các câu hỏi tự nhiên, nội dung dài, đa ngôn ngữ và các từ vựng không đồng nhất.
Những giới hạn của nó là quan trọng:
- tham khảo chính xác đôi khi bị phân loại sai;
- mức độ nhạy cảm với mô hình và cách phân cắt;
- khó khăn trong việc giải thích một điểm số ;
- chi phí đánh chỉ mục;
- cập nhật mô hình;
- cần lọc các quyền một cách chính xác.
Tìm kiếm vectơ phải được thử nghiệm trên tập hợp dữ liệu thực tế.
So sánh bốn viên gạch nghiên cứu
Văn bản đầy đủ
Chính xác, nhanh chóng và có thể giải thích cho các thuật ngữ và tham chiếu.
Bộ lọc có cấu trúc
Không thể thiếu cho các ràng buộc nghề nghiệp và việc khám phá.
Tìm kiếm vectơ
Hữu ích cho sự tương đồng về ngữ nghĩa, các câu hỏi và các cách diễn đạt đa dạng.
Xếp hạng lại
Một mô hình đắt tiền hơn sắp xếp lại một tập hợp nhỏ các ứng viên. Nó có thể cải thiện phần đầu của kết quả, nhưng thêm độ trễ và sự phụ thuộc.
Quy trình của một nghiên cứu lai từ lập chỉ mục đến hợp nhất, tái xếp hạng và đánh giá.
Xây dựng một nghiên cứu lai
Một nghiên cứu lai thực hiện nhiều chiến lược rồi hợp nhất các ứng viên của chúng. Một phương pháp xếp hạng tương hỗ có thể kết hợp vị trí mà không so sánh trực tiếp các điểm khác loại. Các quy tắc ưu tiên một tham chiếu chính xác hoặc một bộ lọc rõ ràng.
Đường ống có thể là:
- phân tích yêu cầu;
- áp dụng các bộ lọc về an ninh và ngữ cảnh;
- thu thập các ứng viên từ vựng;
- thu hồi các ứng viên vectơ;
- hợp nhất ;
- áp dụng các quy tắc nghiệp vụ;
- xếp lại một tập hợp con;
- tạo trích đoạn và giải thích.
Mỗi bước đều có các chỉ số và một chế độ suy giảm.
Tôn trọng quyền
Một tìm kiếm nội bộ không bao giờ được tiết lộ sự tồn tại của một tài liệu bị cấm thông qua tiêu đề, trích đoạn hoặc tài khoản phân lớp. Quyền truy cập phải được áp dụng trong truy vấn hoặc trong một chỉ mục phân đoạn.
Lọc chỉ sau khi đã thu được mười kết quả có thể tạo ra một trang trống trong khi các kết quả được phép vẫn tồn tại ở các vị trí xa hơn. Chiến lược phải bảo đảm cả bảo mật và khả năng tìm lại.
Các thay đổi về luật phải được lan truyền nhanh chóng và bộ nhớ đệm phải được phân đoạn.
Lập chỉ mục cho các tài liệu dài
Một tài liệu có thể được chia thành các phần hoặc đoạn với một liên kết tới phần cha. Việc chia phải tôn trọng tiêu đề, đoạn văn, bảng biểu và siêu dữ liệu. Những mảnh quá nhỏ sẽ mất bối cảnh; quá lớn sẽ làm loãng sự liên quan.
Đối với việc tìm kiếm tài liệu, kết quả có thể hiển thị đoạn liên quan trong khi mở tài liệu tại vị trí phù hợp. Phiên bản và quyền hạn vẫn là của tài liệu gốc.
đa ngôn ngữ
Các bộ phân tích từ vựng và mô hình vectơ phải tương thích với các ngôn ngữ. Một truy vấn bằng tiếng Pháp có thể tìm thấy một tài liệu bằng tiếng Anh không? Câu trả lời phụ thuộc vào nhu cầu và phải được kiểm tra một cách rõ ràng.
Các từ đồng nghĩa được quản lý theo ngôn ngữ và nghề nghiệp. Một bản dịch tự động các truy vấn có thể hữu ích, nhưng nó phải giữ nguyên tên riêng và các tham chiếu.
Đề xuất và chỉnh sửa
Tự hoàn thành có thể đề xuất các truy vấn, danh mục hoặc đối tượng đã biết. Nó phải tôn trọng quyền lợi và tránh tiết lộ dữ liệu cá nhân. Các gợi ý nhanh, giới hạn và được phân biệt với các kết quả.
Việc sửa lỗi chính tả không nên ghi đè lên truy vấn. Hiển thị « kết quả cho » với khả năng quay lại biểu thức gốc là an toàn hơn, đặc biệt đối với các mã.
Đánh giá trước khi thanh toán
Một trò chơi đánh giá chứa các truy vấn đại diện, ý định của chúng và các đánh giá về kết quả. Nó bao gồm các thành công, tham chiếu chính xác, truy vấn mơ hồ, ngôn ngữ, bộ lọc và các trường hợp không có câu trả lời.
Các chỉ số kỹ thuật có thể bao gồm:
- Recall@k : sự xuất hiện của các kết quả liên quan trong số các ứng viên hàng đầu ;
- MRR : vị trí của kết quả phù hợp đầu tiên ;
- nDCG: chất lượng của thứ tự khi tồn tại nhiều mức độ liên quan.
Chúng được bổ sung bởi tỷ lệ nhấp hữu ích, tái diễn đạt, không có kết quả, thời gian thực hiện nhiệm vụ và chuyển đổi kinh doanh.
Phân tích các truy vấn không có kết quả
Một sự vắng mặt có thể có nghĩa là nội dung bị thiếu, từ vựng chưa biết, lỗi, bộ lọc quá hạn chế hoặc quyền hạn không đủ. Báo cáo phải nhóm các yêu cầu theo chủ đề và tránh ghi lại dữ liệu nhạy cảm không cần thiết.
Các cải tiến có thể liên quan đến nội dung, từ đồng nghĩa, phân loại hoặc giao diện, không chỉ riêng động cơ.
Giải thích xếp hạng
Một giải thích đơn giản củng cố niềm tin: sự phù hợp của tiêu đề, tham chiếu chính xác, bộ lọc, sự gần gũi về ngữ nghĩa hoặc độ phổ biến. Các quy tắc được tài trợ hoặc thương mại được xác định.
Các nhóm phải có khả năng kiểm tra một yêu cầu, các ứng viên của nó và điểm số trong một công cụ quản trị an toàn.
Khai thác và phát triển
Động cơ giám sát độ trễ, lỗi, độ trì hoãn lập chỉ mục, kích thước, truy vấn chậm và sai lệch của các chỉ số. Một phiên bản mới của mô hình vector yêu cầu lập chỉ mục lại, so sánh và khả năng quay lại.
Các thay đổi về mức độ liên quan được triển khai bằng thử nghiệm hoặc trên một mẫu, với phân tích theo ý định để một cải thiện tổng thể không che khuất sự suy giảm trên các tham chiếu chính xác.
Sự phù hợp đến từ hệ thống toàn diện
Động cơ tốt nhất cũng không bù đắp được dữ liệu kém chất lượng hay quyền hạn không nhất quán. Một tìm kiếm thành công kết hợp cấu trúc, từ vựng, ngữ nghĩa, giao diện và vòng đánh giá.
Partitech có thể kiểm toán một nghiên cứu hiện có, thiết kế lập chỉ mục, phát triển một công cụ tìm kiếm toàn văn, vector hoặc lai và thiết lập một bộ đánh giá. Mục tiêu là làm cho kết quả hữu ích, an toàn và có thể đo lường được, không chỉ đơn giản là tinh vi hơn.
Hãy nói về dự án của bạn
Thiết kế hoặc cải thiện công cụ tìm kiếm của bạn với Partitech. Liên hệ Partitech.