Quando un utente non trova un prodotto, un documento o una cartella, il problema non è sempre l'algoritmo. I dati possono essere incompleti, i filtri incomprensibili, i diritti applicati male o il vocabolario diverso da quello del contenuto. Una ricerca utile è un prodotto completo che collega indicizzazione, pertinenza, interfaccia e misurazione.
La ricerca vettoriale offre la capacità di avvicinare le formulazioni. Non sostituisce la precisione del testo completo, i riferimenti esatti né i filtri professionali. In molti casi, una combinazione ibrida è la soluzione migliore, a condizione di poterla valutare.
Iniziare con i compiti di ricerca
Le richieste esprimono intenzioni diverse:
- raggiungere un elemento noto per il suo nome o il suo riferimento;
- esplorare una categoria;
- filtrare secondo gli attributi;
- trovare un contenuto che risponda a una domanda;
- confrontare opzioni;
- riprendere un fascicolo recente;
- scoprire un'informazione associata.
Il motore deve riconoscere queste famiglie e l'interfaccia deve supportarle. Una barra unica può proporre ricerca, filtri, suggerimenti e cronologia senza trattare tutte le intenzioni allo stesso modo.
La qualità dei dati precede l'algoritmo
L'indice deve disporre di titoli, descrizioni, tassonomie, identificatori, date, lingue, stati e permessi affidabili. I duplicati, i contenuti vuoti e le unità incoerenti degradano la pertinenza.
Una pipeline di indicizzazione documenta:
- fonti di verità ;
- trasformazioni ;
- campi ricercabili;
- campi filtrabili ;
- analisi linguistica ;
- frequenza di aggiornamento;
- eliminazione;
- errori e ripresa.
La freschezza deve essere visibile quando l'indicizzazione è asincrona.
Il testo completo rimane indispensabile
I motori lessicali analizzano le parole, le loro forme, posizioni e frequenze. Sono efficaci per i nomi propri, riferimenti, espressioni esatte e contenuti ben strutturati.
Le impostazioni riguardano:
- ponderazione dei campi;
- analisi per lingua;
- sinonimi;
- tolleranza agli errori;
- vicinanza dei termini;
- popolarità o freschezza;
- regole aziendali controllate.
Un riferimento prodotto non deve essere corretto come un errore comune. I campi tecnici possono utilizzare un analizzatore specifico.
I filtri e le faccette danno controllo
In un catalogo o in un'applicazione aziendale, l'utente spesso conosce dei vincoli: stato, data, sito, categoria, certificazione o proprietario. Le faccette riducono lo spazio di ricerca e spiegano la struttura dei risultati.
I valori devono essere normalizzati, comprensibili e accompagnati da conti coerenti. I filtri attivi sono visibili, rimovibili e condivisibili nell’URL quando ciò non rivela informazioni sensibili.
Ciò che la ricerca vettoriale porta
Un modello di embeddings rappresenta le richieste e i contenuti sotto forma di vettori. La vicinanza può ritrovare una parafrasi o un concetto anche senza parole in comune. Aiuta per le domande naturali, i contenuti lunghi, il multilingue e i vocabolari eterogenei.
I suoi limiti sono importanti:
- riferimenti esatti talvolta classificati male;
- sensibilità al modello e al frazionamento;
- difficoltà a spiegare un punteggio;
- costo di indicizzazione;
- aggiornamento del modello;
- bisogno di filtrare correttamente i diritti.
La ricerca vettoriale deve essere testata sul corpus reale.
Confrontare i quattro mattoni della ricerca
Testo completo
Preciso, rapido e spiegabile per i termini e i riferimenti.
Filtri strutturati
Indispensabili per le esigenze aziendali e l'esplorazione.
Ricerca vettoriale
Utile per la somiglianza semantica, le domande e le formulazioni variegate.
Riarredamento
Un modello più costoso riordina un piccolo insieme di candidati. Può migliorare la parte alta dei risultati, ma aggiunge latenza e dipendenza.
Pipeline di una ricerca ibrida dalla indicizzazione fino alla fusione, al reranking e alla valutazione.
Costruire una ricerca ibrida
Una ricerca ibrida esegue diverse strategie e poi fonde i loro candidati. Un metodo di rango reciproco può combinare le posizioni senza confrontare direttamente punteggi di natura diversa. Le regole danno priorità a un riferimento esatto o a un filtro esplicito.
La pipeline può essere:
- analizzare la richiesta;
- applicare i filtri di sicurezza e di contesto;
- recuperare candidati lessicali;
- recuperare candidati vettoriali;
- fondere ;
- applicare regole aziendali;
- riordinare un sottoinsieme;
- generare estratti e spiegazioni.
Ogni fase ha metriche e una modalità degradata.
Rispettare i diritti
Una ricerca interna non deve mai rivelare l'esistenza di un documento proibito dal suo titolo, dal suo estratto o da un account di faccetta. I permessi devono intervenire nella richiesta o in un indice segmentato.
Filtrare solo dopo aver recuperato dieci risultati può produrre una pagina vuota mentre esistono risultati autorizzati più avanti. La strategia deve preservare sia la sicurezza sia il richiamo.
I cambiamenti di diritto devono propagarsi rapidamente e le cache devono essere segmentate.
Indicizzare i documenti lunghi
Un documento può essere suddiviso in sezioni o passaggi con un collegamento al genitore. La suddivisione deve rispettare titoli, paragrafi, tabelle e metadati. Pezzi troppo piccoli perdono il contesto; troppo grandi diluiscono la pertinenza.
Per una ricerca documentaria, il risultato può mostrare il passaggio pertinente aprendo il documento nella posizione appropriata. La versione e i diritti rimangono quelli del documento sorgente.
Multilingue
Gli analizzatori lessicali e i modelli vettoriali devono essere compatibili con le lingue. Una richiesta francese può trovare un documento inglese? La risposta dipende dal bisogno e deve essere testata esplicitamente.
I sinonimi sono gestiti per lingua e settore. Una traduzione automatica delle richieste può aiutare, ma deve conservare i nomi propri e le referenze.
Suggerimenti e correzione
L'autocompletamento può suggerire query, categorie o oggetti conosciuti. Deve rispettare i diritti ed evitare di rivelare dati privati. I suggerimenti sono rapidi, limitati e distinti dai risultati.
La correzione ortografica non deve sovrascrivere la richiesta. Visualizzare « risultati per » con la possibilità di tornare all’espressione originale è più sicuro, soprattutto per i codici.
Valutare prima di pagare
Un gioco di valutazione contiene richieste rappresentative, la loro intenzione e dei giudizi sui risultati. Copre i successi, le corrispondenze esatte, le richieste ambigue, le lingue, i filtri e i casi senza risposta.
Le metriche tecniche possono includere:
- Recall@k: presenza dei risultati pertinenti tra i primi candidati;
- MRR: posizione del primo risultato rilevante;
- nDCG: qualità dell'ordine quando esistono più livelli di pertinenza.
Sono completate dal tasso di clic utile, riformulazioni, assenza di risultato, tempo di attività e conversione aziendale.
Analizzare le richieste senza risultato
Un'assenza può significare contenuto mancante, vocabolario sconosciuto, errore, filtro troppo restrittivo o diritto insufficiente. Il rapporto deve raggruppare le richieste per temi ed evitare di registrare dati sensibili inutili.
I miglioramenti possono riguardare il contenuto, i sinonimi, la tassonomia o l'interfaccia, non solo il motore.
Spiegare la classifica
Una spiegazione semplice rafforza la fiducia: corrispondenza del titolo, riferimento esatto, filtro, prossimità semantica o popolarità. Le regole sponsorizzate o commerciali sono identificate.
Le squadre devono poter ispezionare una richiesta, i suoi candidati e i punteggi in uno strumento di amministrazione sicuro.
Sfruttare e far evolvere
Il motore monitora latenza, errori, ritardo di indicizzazione, dimensione, query lente e deriva delle metriche. Una nuova versione del modello vettoriale richiede reindicizzazione, confronto e possibilità di ritorno.
Le modifiche alla pertinenza vengono implementate tramite sperimentazione o su un campione, con un'analisi per intenzione affinché un miglioramento complessivo non mascheri una regressione sui riferimenti esatti.
La pertinenza deriva dal sistema completo
Il miglior motore non compensa dati poveri né diritti incoerenti. Una ricerca riuscita combina struttura, lessico, semantica, interfaccia e ciclo di valutazione.
Partitech può auditare una ricerca esistente, progettare l’indicizzazione, sviluppare un motore a testo completo, vettoriale o ibrido e mettere in piedi un set di valutazione. L’obiettivo è rendere i risultati utili, sicuri e misurabili, non semplicemente più sofisticati.
Parliamo del tuo progetto
Progettare o migliorare il tuo motore di ricerca con Partitech. Contatta Partitech.