Hybrid retrieval pour la documentation technique

Le mode d'échec du retrieval purement sémantique

Vous construisez un système RAG sur un manuel de 1 200 pages pour pompes industrielles. Vous le testez sur des requêtes conversationnelles — « que signifie l'erreur F112 » — et ça marche très bien. Vous shippez.

Deux jours plus tard, un installateur demande : « bruit au démarrage modèle P-340 ». Votre retriever basé sur embedding renvoie un passage sur les procédures de démarrage générales. La vraie réponse — à la page 847, sous « P-340 troubleshooting » — n'entre jamais dans le top-50. Pourquoi ?

Les embeddings encodent le sens. Ils n'encodent pas le fait que P-340 est un token littéral que l'utilisateur a besoin d'obtenir mot pour mot. La similarité sémantique place P-340 près de P-330, P-350 et de divers numéros de pièces d'autres pages. Le passage pertinent est enseveli.

Le pattern hybride expliqué

L'hybrid retrieval exécute deux retrievers en parallèle :

1. Retrieval vectoriel — embeddings + recherche ANN. Capte la sémantique.
2. Retrieval lexical — BM25 (ou similaire). Capte les tokens littéraux.

Les deux jeux de résultats sont fusionnés. Le top-K du jeu fusionné passe par un cross-encoder reranker, qui note chaque candidat par rapport à la requête originale. Le top-12 final part au LLM.

Les defaults de helpcode : K=50 de chaque retriever, fusionnés à 100, rerankés à 12.

Tuning du boost BM25

Le réglage non évident, c'est le poids que vous donnez au retriever lexical dans la fusion. Default à 0,5. Puis en eval :

• Si le corpus contient beaucoup de codes alphanumériques (CVC, capteurs, machines-outils) — poussez le poids lexical à 0,6-0,7.
• Si le corpus est principalement de la prose (un help center, des pages marketing) — abaissez le poids lexical à 0,3-0,4.

Tunez toujours sur un jeu d'eval représentatif. Jamais à l'aveugle.

Le passage du reranker

Le reranker est ce qui rend l'hybrid retrieval intelligent. Le jeu fusionné contient ~100 candidats avec des scores bruités ; le cross-encoder lit chaque candidat à côté de la requête originale et produit un score de pertinence fin.

Dans nos benchmarks, l'hybrid retrieval sans reranker donne un lift de precision-at-1 d'environ 7-12 points par rapport au purement sémantique. Ajouter le reranker le porte à 20-30 points, selon le corpus.

Résultats terrain sur 3 déploiements

Client	Domaine	Avant (purement sémantique)	Après (hybride + reranker)
OEM pompes industrielles	Manuel 1 200 pages + service bulletins	51 % FCR	78 % FCR
Distributeur de pompes à chaleur	Manuel 800 pages × 8 marques	64 % précision citation	91 % précision citation
Fabricant de capteurs	Fiches techniques + procédures calibration	0,62 nDCG@10	0,83 nDCG@10

Pièges

• Le chunking compte autant que le retriever. Un mauvais chunking détruit aussi le rappel lexical. Gardez les tableaux intacts ; pour les chunks ambigus, envisagez le contextual retrieval.
• Ne sautez pas le reranker pour économiser la latence. C'est le plus grand gain unitaire. Cappez le reranker à top-50 candidats pour rester sous 1,4 s.
• Eval, eval, eval. L'hybrid retrieval a plus de réglages que le sémantique pur. Sans jeu d'eval, vous régressez sans le voir.