Giọng nói biến sự chờ đợi thành im lặng, lỗi thành gián đoạn và sự mơ hồ thành hành động có khả năng không thể đảo ngược. Một trợ lý giọng nói phải hiểu âm thanh không hoàn hảo, quản lý lượt nói, tham khảo công cụ và phản hồi với độ trễ đủ thấp để vẫn tự nhiên. Nó cũng phải cho phép người dùng chỉnh sửa, yêu cầu gặp người thật và biết rằng họ đang nói chuyện với một trí tuệ nhân tạo.
Các mô hình chuyển giọng nói sang giọng nói và các API thời gian thực đã tiến bộ vào năm 2026. Sản xuất vẫn là một vấn đề của hệ thống: phương tiện, mạng lưới, nhận dạng, chính sách, công cụ, giám sát và trung tâm liên lạc.
Các mẫu, giá cả, khu vực và chức năng giọng nói phải được xác nhận trong tài liệu chính thức trước khi triển khai.
Xác định vai trò của đại lý
Các cách sử dụng có thể là:
- tiếp đón và định hướng;
- trình độ
- đặt hẹn;
- tham khảo tình trạng;
- hỗ trợ nội bộ ;
- thu thập có cấu trúc;
- nhắc nhở ;
- xử lý các yêu cầu đơn giản.
Các hành động có tác động cao — thanh toán, sửa đổi hợp đồng, tư vấn theo quy định — đòi hỏi xác thực, xác nhận và đôi khi có con người.
Kịch bản phải nêu rõ những gì đại lý không làm và cách thức anh ta chuyển giao.
Hai kiến trúc âm thanh
Đường ống theo tầng
Nhận dạng giọng nói, văn bản, LLM, tổng hợp. Mỗi thành phần có thể được điều khiển và thay thế. Chuỗi này làm tăng độ trễ và có thể mất thông tin ngữ điệu.
Mô hình từ giọng nói sang giọng nói
Mẫu xử lý và tạo âm thanh một cách tích hợp hơn, đôi khi full-duplex. Cuộc trò chuyện có thể tự nhiên hơn. Việc kiểm soát bản ghi, giọng nói và các đầu ra có cấu trúc cần được dự liệu.
Một kiến trúc lai có thể giữ lại một bản ghi công việc và các công cụ được cấu trúc xung quanh một mô hình thời gian thực.
Vận chuyển và phiên
WebRTC phù hợp với các trình duyệt và ứng dụng thời gian thực; điện thoại có thể thông qua SIP hoặc một nhà cung cấp. Phiên làm việc phải quản lý:
- đàm phán truyền thông;
- bộ giải mã ;
- mất gói dữ liệu;
- run rẩy ;
- định tuyến khu vực ;
- tái bắt đầu ;
- xác thực ;
- mã hóa ;
- kết thúc cuộc gọi.
Các mã thông báo phía khách hàng ngắn và có giới hạn. Các bí mật của nền tảng vẫn nằm phía máy chủ.
Xây dựng ngân sách độ trễ
Kinh nghiệm phụ thuộc vào thời gian chờ trước một dấu hiệu lắng nghe và thời gian chờ trước một phản hồi hữu ích. Các bước là:
- vận tải đến;
- phát hiện giọng nói hoặc hiểu liên tục ;
- suy luận ;
- công cụ ;
- tạo âm thanh;
- vận chuyển đi
Quy trình làm việc của một đại lý giọng nói từ việc truyền âm thanh đến các công cụ, phản hồi và chuyển giao cho con người.
Quản lý lượt nói
Một hệ thống cổ điển chờ một khoảng lặng để quyết định rằng người dùng đã kết thúc. Một khoảng lặng quá ngắn sẽ cắt; quá dài sẽ làm chậm. Các mô hình full-duplex có thể nghe và nói đồng thời, nhưng phải quản lý sự gián đoạn và chồng lấp.
Người sử dụng phải có khả năng dừng lại. Âm thanh đang phát sẽ dừng, trạng thái được cập nhật và các hành động chưa được xác nhận sẽ bị hủy. Hệ thống phân biệt giữa tiếng ồn và một lần sửa.
Các tín hiệu thị giác hoặc âm thanh cho thấy việc lắng nghe, xử lý và chuyển tiếp mà không giả vờ có sự hiện diện của con người gây hiểu lầm.
Không che thời gian công cụ
Một cuộc gọi CRM hoặc một tìm kiếm có thể mất vài giây. Nhân viên có thể xác nhận nhiệm vụ, cung cấp thông tin trung gian chính xác hoặc đề xuất gọi lại. Họ không được bịa đặt một cuộc trò chuyện để lấp đầy.
Các công cụ có thời gian chờ, thử lại, tính không thay đổi và trạng thái. Một thao tác dài trở nên không đồng bộ và kết quả được xác nhận khi nó thực sự xảy ra.
Xác thực mà không làm giảm trải nghiệm
Chỉ giọng nói không đủ làm bằng chứng nhận dạng. Tùy theo rủi ro, hãy sử dụng:
- thông tin đã biết không nhạy cảm ;
- mã sử dụng một lần;
- liên kết trong một kênh đã xác thực ;
- kết nối ứng dụng ;
- chuyển đến một cố vấn;
- xác thực lại trước khi hành động.
Đại lý không bao giờ yêu cầu một bí mật hoàn toàn vô ích. Các câu trả lời được che giấu trong nhật ký và tổng hợp giọng nói.
Xác nhận các hành động
Trước một hành động, tác nhân lặp lại các thông số cơ bản: đối tượng, ngày tháng, số tiền, người nhận hoặc hậu quả. Việc xác nhận dựa trên phiên bản này và sẽ hết hạn.
Đối với các dữ liệu khó hiểu khi nghe, một bản tóm tắt bằng văn bản có thể được gửi trong một kênh an toàn. Người dùng có thể chỉnh sửa một mục duy nhất mà không cần bắt đầu lại toàn bộ cuộc trò chuyện.
Sự đồng thuận và minh bạch
Cuộc gọi chỉ rõ việc sử dụng AI và các mục đích liên quan. Nếu cuộc trò chuyện được ghi âm hoặc ghi lại, thông tin và cơ sở áp dụng phải được thiết lập với những người chịu trách nhiệm có thẩm quyền.
Việc thu thập được giảm thiểu. Bản ghi chép, âm thanh, tóm tắt, siêu dữ liệu và phản hồi có thể có thời lượng khác nhau. Việc lựa chọn giọng nói không được bắt chước một người nào đó mà không có sự cho phép.
Phiên âm và dữ liệu nhạy cảm
Bản ghi có thể chứa tên, sức khỏe, thanh toán hoặc bí mật. Quyền truy cập, lưu giữ và che giấu được xác định. Dữ liệu không được gửi đến các công cụ không được phép.
Một điểm tin cậy về phiên âm có thể kích hoạt một yêu cầu lặp lại. Tên riêng, địa chỉ và tham chiếu được xác nhận, đôi khi bằng cách đánh vần hoặc qua kênh văn bản.
Thiết kế các công cụ
Các công cụ giọng nói phải ngắn gọn và có cấu trúc. Mô hình không đọc một câu trả lời kỹ thuật thô. Một lớp chuyển đổi các trạng thái thành các câu chính xác và an toàn.
Các hành động bị giới hạn, được kiểm toán và kiểm tra. Mô hình không thể tự do chọn người nhận bên ngoài cũng như mở rộng quyền hạn của mình.
Chuyển giao con người
Việc chuyển giao phải có thể truy cập bất cứ lúc nào hoặc theo các quy tắc. Cố vấn nhận được, với sự đồng ý và quyền hợp lệ:
- lý do ;
- các bước đã hoàn thành;
- danh tính đã được xác minh;
- dữ liệu thu thập;
- điểm không chắc chắn;
- hành động đang chờ xử lý.
Người dùng không lặp lại toàn bộ câu chuyện của mình. Nếu không có cố vấn nào sẵn sàng, hệ thống sẽ đề xuất một giải pháp thay thế thực tế.
Chế độ suy giảm
Trong trường hợp có tiếng ồn, mạng yếu, mẫu không khả dụng hoặc công cụ chậm:
- yêu cầu lặp lại;
- chuyển sang bàn phím/văn bản ;
- giới hạn các hành động;
- chuyển;
- tạo một lời nhắc;
- kết thúc một cách sạch sẽ.
Một sự cố không nên để một hành động ở trạng thái không xác định.
Đánh giá chất lượng
Bộ kiểm tra bao gồm:
- dấu nhấn ;
- tiếng ồn ;
- chồng lấn;
- gián đoạn ;
- số;
- tên;
- sự mơ hồ;
- cảm xúc ;
- ngôn ngữ ;
- từ chối ;
- công cụ ;
- chuyển.
Đo lường thành công của nhiệm vụ, các chỉnh sửa, thời gian, độ trễ p95, tỷ lệ truyền tải, lỗi nghiêm trọng, sự hài lòng và chi phí. Các đánh giá viên lắng nghe các đoạn trích được cho phép theo một chính sách.
Khả năng quan sát theo thời gian thực
Theo dõi chất lượng mạng, gói dữ liệu, độ trễ, vòng quay, gián đoạn, cuộc gọi công cụ, lỗi, ngắt kết nối, chi phí và leo thang. Mã định danh phiên kết nối phương tiện và nghiệp vụ mà không lưu trữ nhiều hơn mức cần thiết.
Các cảnh báo phát hiện sự tăng của im lặng, bỏ sót hoặc lặp lại.
Chi phí
Chi phí kết hợp âm thanh đầu vào/ra, mô hình, điện thoại, công cụ, lưu trữ, chuyển văn bản, giám sát và chuyển cho con người. Nó được liên kết với một nhiệm vụ đã được giải quyết.
Việc định tuyến có thể dành các mẫu có khả năng tốt nhất cho các cuộc trò chuyện phức tạp. Các cuộc gọi không khẩn cấp có thể sử dụng cuộc gọi lại không đồng bộ.
Một triển khai dần dần
Bắt đầu với một mô hình đơn giản, với lịch trình và dân số giới hạn, sau đó phân tích từng thất bại. Các hành động nhạy cảm vẫn chỉ là đề xuất. Khả năng mở rộng khi độ trễ, chất lượng và chuyển giao được kiểm soát.
Partitech có thể thiết kế nền tảng thời gian thực, tích hợp các công cụ nghiệp vụ, bảo mật danh tính và xây dựng chiến dịch đánh giá. Mục tiêu là một giọng nói hữu ích và minh bạch, có khả năng hành động mà không hy sinh kiểm soát hay chất lượng dịch vụ.
Hãy nói về dự án của bạn
Tạo nguyên mẫu và công nghiệp hóa một trợ lý giọng nói chuyên ngành với Partitech. Liên hệ Partitech.