Cuando un usuario no encuentra un producto, un documento o una carpeta, el problema no siempre es el algoritmo. Los datos pueden estar incompletos, los filtros pueden ser incomprensibles, los permisos aplicados incorrectamente o el vocabulario diferente al del contenido. Una búsqueda útil es un producto completo que conecta indexación, relevancia, interfaz y medición.
La búsqueda vectorial aporta una capacidad para acercar formulaciones. No reemplaza la precisión del texto completo, las referencias exactas ni los filtros empresariales. En muchos casos, una combinación híbrida es la mejor solución, siempre que se pueda evaluar.
Comenzar por las tareas de investigación
Las consultas expresan diferentes intenciones:
- alcanzar un elemento conocido por su nombre o su referencia;
- explorar una categoría ;
- filtrar según atributos;
- encontrar un contenido que responda a una pregunta;
- comparar opciones;
- retomar un expediente reciente;
- descubrir una información asociada.
El motor debe reconocer estas familias y la interfaz debe apoyarlas. Una barra única puede ofrecer búsqueda, filtros, sugerencias e historial sin tratar todas las intenciones de la misma manera.
La calidad de los datos precede al algoritmo
El índice debe contar con títulos, descripciones, taxonomías, identificadores, fechas, idiomas, estados y permisos confiables. Los duplicados, contenidos vacíos y unidades incoherentes deterioran la pertinencia.
Una canalización de indexación documenta:
- fuentes de verdad;
- transformaciones ;
- campos buscables ;
- campos filtrables ;
- análisis lingüístico ;
- frecuencia de actualización;
- eliminación;
- errores y reanudación.
La frescura debe ser visible cuando la indexación es asincrónica.
El texto completo sigue siendo indispensable
Los motores léxicos analizan las palabras, sus formas, posiciones y frecuencias. Son eficaces para los nombres propios, referencias, expresiones exactas y contenidos bien estructurados.
Los ajustes se refieren a:
- ponderación de los campos;
- análisis por idioma;
- sinónimos;
- tolerancia a errores ;
- proximidad de los términos;
- popularidad o frescura;
- reglas de negocio controladas.
Una referencia de producto no debe ser corregida como un error común. Los campos técnicos pueden usar un analizador específico.
Los filtros y facetas ofrecen control
En un catálogo o una aplicación empresarial, el usuario a menudo conoce ciertas restricciones: estado, fecha, sitio, categoría, certificación o propietario. Las facetas reducen el espacio de búsqueda y explican la estructura de los resultados.
Los valores deben ser normalizados, comprensibles y acompañados de cuentas coherentes. Los filtros activos son visibles, se pueden eliminar y compartir en la URL cuando esto no revele información sensible.
Lo que aporta la búsqueda vectorial
Un modelo de embeddings representa consultas y contenidos en forma de vectores. La proximidad puede encontrar una paráfrasis o un concepto incluso sin palabras comunes. Ayuda con las preguntas naturales, los contenidos largos, el multilingüe y los vocabularios heterogéneos.
Sus límites son importantes:
- referencias exactas a veces mal clasificadas ;
- sensibilidad al modelo y al desglose;
- dificultad para explicar un puntaje;
- costo de indexación;
- actualización del modelo;
- necesidad de filtrar los derechos correctamente.
La búsqueda vectorial debe ser probada en el corpus real.
Comparar los cuatro bloques de investigación
Texto completo
Preciso, rápido y explicable para los términos y referencias.
Filtros estructurados
Indispensables para las limitaciones empresariales y la exploración.
Búsqueda vectorial
Útil para la similitud semántica, las preguntas y las formulaciones variadas.
Reordenamiento
Un modelo más costoso reordena un pequeño conjunto de candidatos. Puede mejorar la cabeza de los resultados, pero añade latencia y dependencia.
Pipeline de una búsqueda híbrida desde la indexación hasta la fusión, el reordenamiento y la evaluación.
Construir una investigación híbrida
Una búsqueda híbrida ejecuta varias estrategias y luego fusiona sus candidatos. Un método de rango recíproco puede combinar las posiciones sin comparar directamente puntuaciones de diferente naturaleza. Las reglas dan prioridad a una referencia exacta o a un filtro explícito.
El canal puede ser:
- analizar la solicitud;
- aplicar los filtros de seguridad y de contexto;
- recuperar candidatos léxicos;
- recuperar candidatos vectoriales;
- fusionar ;
- aplicar reglas de negocio;
- reordenar un subconjunto;
- generar extractos y explicaciones.
Cada etapa posee métricas y un modo degradado.
Respetar los derechos
Una búsqueda interna nunca debe revelar la existencia de un documento prohibido por su título, su extracto o un recuento de faceta. Los permisos deben intervenir en la consulta o en un índice segmentado.
Filtrar solo después de haber recuperado diez resultados puede producir una página vacía mientras que existen resultados permitidos más adelante. La estrategia debe preservar tanto la seguridad como la recuperación.
Los cambios de derecho deben propagarse rápidamente y las cachés deben ser segmentadas.
Indexar los documentos largos
Un documento puede ser dividido en secciones o pasajes con un enlace al padre. La división debe respetar títulos, párrafos, tablas y metadatos. Los fragmentos demasiado pequeños pierden el contexto; los demasiado grandes diluyen la pertinencia.
Para una búsqueda documental, el resultado puede mostrar el pasaje pertinente mientras abre el documento en la ubicación apropiada. La versión y los derechos permanecen siendo los del documento fuente.
Multilingüe
Los analizadores léxicos y los modelos vectoriales deben ser compatibles con los idiomas. ¿Puede una consulta en francés encontrar un documento en inglés? La respuesta depende de la necesidad y debe ser explícitamente probada.
Los sinónimos se gestionan por idioma y oficio. Una traducción automática de las consultas puede ayudar, pero debe conservar los nombres propios y referencias.
Sugerencias y corrección
La autocompletación puede proponer consultas, categorías u objetos conocidos. Debe respetar los derechos y evitar revelar datos privados. Las sugerencias son rápidas, limitadas y se distinguen de los resultados.
La corrección ortográfica no debe sobrescribir la consulta. Mostrar « resultados para » con la posibilidad de volver a la expresión original es más seguro, especialmente para los códigos.
Evaluar antes de pagar
Un juego de evaluación contiene consultas representativas, su intención y juicios sobre los resultados. Cubre los éxitos, referencias exactas, consultas ambiguas, idiomas, filtros y casos sin respuesta.
Las métricas técnicas pueden incluir:
- Recall@k: presencia de los resultados relevantes en los primeros candidatos;
- MRR: posición del primer resultado relevante;
- nDCG: calidad del orden cuando existen varios niveles de relevancia.
Se completan con tasa de clic útil, reformulaciones, ausencia de resultado, tiempo de tarea y conversión comercial.
Analizar las consultas sin resultado
Una ausencia puede significar contenido faltante, vocabulario desconocido, error, filtro demasiado restrictivo o derecho insuficiente. El informe debe agrupar las consultas por temas y evitar registrar datos sensibles innecesarios.
Las mejoras pueden abarcar el contenido, los sinónimos, la taxonomía o la interfaz, no solo el motor.
Explicar la clasificación
Una explicación sencilla refuerza la confianza: correspondencia del título, referencia exacta, filtro, proximidad semántica o popularidad. Las reglas patrocinadas o comerciales están identificadas.
Los equipos deben poder inspeccionar una solicitud, sus candidatos y las puntuaciones en una herramienta de administración segura.
Explotar y hacer evolucionar
El motor supervisa la latencia, errores, retraso de indexación, tamaño, consultas lentas y deriva de las métricas. Una nueva versión del modelo vectorial requiere reindexación, comparación y posibilidad de retorno.
Los cambios de relevancia se despliegan mediante experimentación o sobre una muestra, con un análisis por intención para que una mejora global no oculte una regresión en las referencias exactas.
La pertinencia proviene del sistema completo
El mejor motor no compensa datos pobres ni derechos incoherentes. Una búsqueda exitosa combina estructura, léxico, semántica, interfaz y bucle de evaluación.
Partitech puede auditar una investigación existente, diseñar la indexación, desarrollar un motor de texto completo, vectorial o híbrido y poner en marcha un conjunto de evaluación. El objetivo es hacer que los resultados sean útiles, seguros y medibles, no simplemente más sofisticados.
Hablemos de su proyecto
Diseñar o mejorar su motor de búsqueda con Partitech. Contacte a Partitech.