01 / Les gains et les pertes
Ce que le fine-tuning
a changé dans la recherche.
Le fine-tuning ajuste BGE-M3 à partir de questions et de passages du catalogue. Ici, un adaptateur LoRA apprend sur 512 questions ; les poids d’origine restent gelés.
L’évaluation interroge les 105 687 passages, avec 64 nouvelles questions et 92 anciens cas. Une recherche est dite complète si les dix passages retournés contiennent toutes les preuves demandées.
- recherches devenues
complètes - +20
- recherches devenues
incomplètes - −7
- recherches complètes
en plus, au bilan - +13
Recherche hybride BGE-M3 + BM25, sur les 156 questions. La couverture complète passe de 126 à 139 cas. Le premier passage est pertinent sur 126 questions, contre 93 avant adaptation.
Ce qu’on gagne · TEST-0027
BSA 650 Gold Star 2022 : puissance et poids retrouvés.
Les passages moteur et châssis étaient hors des dix résultats. Après adaptation, ils arrivent aux rangs 2 et 1 : la puissance et les deux mesures de poids deviennent disponibles.
| Preuve | Avant | Après |
|---|---|---|
| Puissance 45 ch à 6 000 tr/min | Hors top 10 | Rang 2 |
| Poids 198 kg à sec 213 kg tous pleins faits | Hors top 10 | Rang 1 |
Ce qu’on perd · TEST-0015
BSA 650 Scrambler 2026 : la cylindrée sort des résultats.
Le réservoir reste trouvé. Le passage portant les 652 cm³ sort des dix résultats : cette recherche, qui réunissait les deux preuves, devient incomplète.
| Preuve | Avant | Après |
|---|---|---|
| Réservoir 12 litres | Rang 1 | Rang 1 |
| Cylindrée 652 cm³ | Rang 4 | Hors top 10 |
Le pilote améliore les totaux en hybride. Avant activation, l’adaptateur doit aussi conserver les preuves déjà retrouvées. Neuf questions en perdent encore une, dont les sept devenues incomplètes et deux qui l’étaient déjà.
Prochaine étape : comparer la justesse et la complétude des réponses rédigées avec et sans l’adaptateur. Les anciens essais du chatbot ne mesurent pas l’effet de cette adaptation.
Les conditions de l’entraînement et les autres résultats
Sur Mac M5 avec 32 Go, l’entraînement dure 10 min 56 s. Le réencodage des 105 687 passages prend ensuite 8 min 37 s, dans un index séparé. 786 432 paramètres LoRA sont entraînés.
Les marques sont séparées entre apprentissage, validation et tests. Les questions viennent de gabarits écrits par un assistant ; certaines fiches sont réutilisées dans un même lot. Ce n’est pas un panel indépendant.
Le gain net en hybride cache quatre nouvelles questions devenues complètes et trois devenues incomplètes. Sur les anciens cas : seize gains, quatre pertes de complétude, plus deux autres pertes de preuve.
Avec BGE seul, sans fusion avec les mots-clés, la complétude du nouveau test recule de 56 à 52 cas sur 64. Le pilote ne mesure ni les réponses rédigées du chatbot ni une baisse de son délai.
Les 156 questions restent inspectables.
L’annexe compare les méthodes, filtre les gains et les pertes, puis montre les passages classés avant et après. Les données sont aussi exportables.
02 / L’assistant en images
Trois réponses
du chatbot.
Ces captures du 13 octobre montrent des réponses réellement obtenues sur le catalogue. Elles illustrent les comparaisons et les filtres SQL, avant le raccordement de la rédaction RAG à Mistral le 14 octobre.
ABS et shifter de série.
Une autonomie estimée à 380 km.
Les images s’agrandissent au clic. La démonstration publique est constituée de captures ; aucun assistant connecté n’est exécuté sur cette page.
03 / La recherche et les outils
Retrouver la bonne moto,
son année et ses sources.
Une MT-07 de 2020 et une édition d’une autre année ne sont pas interchangeables. Le catalogue conserve la marque, le modèle complet, la variante et le millésime de chaque fiche.
Le corpus chargé réunit 11 478 fiches Motoplanète et 105 687 passages techniques. Il correspond aux sources conservées pour ce projet ; il ne couvre pas toutes les motos.
- Compter ou filtrer
Le code interroge le catalogue.
Jev interprète la demande. Le code valide les contraintes, puis PostgreSQL produit les comptes et les listes. Les liens renvoient aux fiches concernées.
- Lire ou expliquer une fiche
La recherche fournit les passages.
Une fois la moto et l’année identifiées, BGE-M3 classe les passages de ses fiches. Mistral local rédige à partir de ces extraits ; les citations et les affirmations sont contrôlées.
- Une information manque
Des substitutions restent à corriger.
Le parcours RAG affiche ses sources si la rédaction échoue aux contrôles. Le témoin Jev remplace pourtant une édition fictive par la fiche standard dans un essai : le contrôle d’identité reste à renforcer.
Le prototype utilise un Mac M5 avec 32 Go de mémoire. La base, la recherche et Mistral restent locaux ; Jev est appelé à distance via OpenRouter pour des décisions délimitées.
Le pilote précédent : BGE-M3, Qwen et E5 sur 4 096 passages
Le pilote du 14 octobre compare trois moteurs sur 4 096 passages sélectionnés. Le graphique compte les questions dont la première preuve retrouvée est pertinente, avec ou sans moto et année fournies au départ.
Avec les identités fournies, BGE-M3 retrouve toutes les preuves attendues dans les dix premiers passages pour les 44 cas. Qwen et E5 en couvrent 43. Ces essais ne suffisent pas à choisir un remplaçant.
Les durées et les limites du pilote
- BGE-M3
- 15,8 ms
- Qwen3-Embedding 0.6B
- 35,8 ms
- E5-large-instruct
- 24,3 ms
Ces médianes comprennent l’encodage de la question et le classement des 4 096 passages. Le chargement des modèles et l’encodage des documents sont exclus. Ce sont des durées de recherche, sans rédaction.
Les questions sont déjà connues et le sous-ensemble s’appuie en partie sur les anciens résultats. Il faut encore comparer les modèles sur le corpus complet, avec de nouvelles questions.
L’essai précédent : mots-clés, BGE-M3 et reranking
Appels d’outils : les contrôles du jeu de juillet
Mistral Small 3.2 passe 46 contrôles de trajectoire sur 18 questions après correction du prompt et des arguments. Ce test historique vérifie les appels aux outils ; il ne mesure ni la réponse finale ni son délai.
Le protocole et les résultats de juillet04 / Le délai du chat local
La rédaction locale
reste à accélérer.
Sur Mac M5 avec 32 Go, les outils répondent en moins de 0,65 s par cas dans l’essai de l’agent local. L’attente vient surtout des appels au modèle. Le fine-tuning de BGE-M3 ne mesure pas une baisse de ce délai.
L’essai de l’agent local : réponses et délai de 30 secondes
Mistral Small 3.2, 24B, Q4_K_M · 14 octobre 2026. Six cas sur huit expirent à 30 s ; les deux autres donnent une non-réponse et une réponse partielle. Aucun des huit cas n’est entièrement correct après relecture.
Les essais avec Jev et Mistral Small 4 distant
Jev + routeur SQL
4 cas corrects sur 80,274 s de médiane par tour, sur neuf tours. Le code produit les réponses à partir des résultats SQL, sans rédaction Mistral.
Small 4 distant
1 réponse correcte, 7 rejetsLa réponse correcte arrive en 3,90 s. Les autres cas reçoivent un refus du fournisseur (HTTP 429) ; quatre nouvelles tentatives espacées échouent aussi.
Ces parcours diffèrent : Jev prend des décisions délimitées, tandis que Mistral pilote les outils. Les refus du fournisseur empêchent de conclure sur Small 4.
Voir aussi les durées du parcours RAG avec rédaction locale
Sur douze demandes avec génération, la médiane est de 25,8 s. Quatre dépassent 30 s ; le maximum atteint 68,4 s. Le premier cas utilise un processus neuf.
05 / Annexe · Le benchmark
L’annexe pour examiner
les réponses en détail.
L’annexe HTML sur GitHub Pages compare huit modèles distants via OpenRouter. Huit cas de développement, dont une conversation en deux tours, sont conservés avec leurs réponses et leurs appels d’outils.
Les deux passes gardent la même base et les mêmes questions. Entre les passes, les arguments des outils, le contexte transmis et les limites d’étapes et de sortie ont été revus.
- modèles comparés
- 8
- cas par modèle et par passe
- 8
- passes conservées
- 2
Les détails restent dans l’annexe.
Le rapport permet de trier les résultats, de comparer les passes et d’ouvrir les réponses avec leurs appels d’outils. Il exporte ses données et fonctionne aussi hors ligne.
Conditions et limites de l’annexe
Une seule exécution est conservée par cas et par passe. Ce panel de développement ne mesure pas la variabilité ni une précision générale sur le catalogue.
La relecture est faite par des agents assistants à partir des réponses et des preuves livrées. Elle n’est ni humaine ni en aveugle. Les outils et les réglages ayant changé, les gains ne sont pas attribuables au seul modèle.
Les coûts retournés par l’API et les réservations pour les requêtes sans retour sont séparés. Les délais dépassés et les erreurs restent dans les résultats.
06 / Les corrections et la suite
Un compte de trois motos
devenu deux après une erreur d’identifiant.
Dans Q37, la relance demande combien de Yamaha ont une selle sous 850 mm. Un modèle recopie mal un identifiant. Le service accepte ce périmètre incomplet et renvoie deux correspondances, après un premier compte de trois.
La validation rejette maintenant un identifiant inconnu avant de produire le résultat. Ce défaut a été rejoué localement et corrigé. Les réponses des huit modèles n’ont pas été régénérées : il n’y a pas de score de troisième passe.
Ce contrôle ne couvre pas toutes les erreurs. Sur la même relance, le nouveau témoin Jev perd les critères et répond 8 697 au lieu de trois. Le maintien des critères au fil du dialogue reste à corriger, en plus du délai local.