Knowledge Agents: Beat Frontier Models with Better Structure
- Auteurs
- James Wang, Weighty Thoughts
- Thème
- IA
- Mots-clés
- knowledge agents, RAG, BM25, contexte, Claude Code, modèles spécialisés
- Ton
- opinion
Résumé
James Wang explique comment il égale la qualité des plus grands modèles frontière en utilisant des modèles agentiques plus petits, à condition de leur injecter le bon savoir. Il appelle ce pattern les « knowledge agents » : des agents spécialisés qui contiennent le contexte d'un domaine précis. Son agent « marchés financiers » a digéré ~10 000 pages de références et ~100 articles pour produire des centaines de documents de concepts et de thèses, avec recherche hybride BM25 + sémantique. Il en a aujourd'hui douze, et obtient de bien meilleurs résultats qu'avec un gros modèle généraliste.
💡 Pourquoi ça compte
C'est la démonstration empirique de la thèse du jour : avec une structure et un contexte bien conçus, un modèle plus petit bat un modèle frontière généraliste. La valeur s'est déplacée du modèle vers ce qu'on met autour.
Analyse approfondie
Anthropic a récemment dû retirer Mythos/Fable suite à un édit du gouvernement américain. Alors que Mythos était un cran au-dessus d'Opus, j'ai activement réduit la taille de mes modèles agentiques — tout en égalant la qualité de sortie de certains des plus grands modèles frontière.
Les cas d'usage couvrent l'analyse de marché « niveau hedge fund », la gestion financière, les assistants personnels IA, jusqu'à aider quelques amis dans des situations médicales difficiles. J'ai appelé ce pattern les « knowledge agents », avec un template générique disponible pour tout le monde. Ils injectent littéralement le bon savoir dans l'agent IA branché dessus. N'importe qui peut faire ça, avec ou sans mon template.
Comme le déclare fièrement mon README (oui, je fais absolument écrire ma documentation par l'IA — vous, vous aimez écrire de la documentation technique complète ?) :
Cette méthodologie a été développée et éprouvée sur un knowledge agent dédié aux marchés, conçu pour répliquer le processus de pensée de James Wang sur les marchés : ~10 000 pages de documents de référence financiers scannés + ~100 articles web, produisant 381 documents de concepts et 54 documents de thèses avec une recherche hybride BM25 + sémantique. Cela a ensuite été testé sur d'autres domaines spécialisés — documents de politique interne d'entreprise (pour un « corporate knowledge agent ») et domaines de recherche rares (santé sexuelle féminine, vu le parcours de James) — avec grand effet. La version généralisée ici capture une méthodologie agnostique au domaine, applicable à n'importe quel sujet.
Ce furent les premiers, mais j'ai aujourd'hui douze de ces « knowledge agents » spécialisés qui traitent les requêtes d'autres agents. Ou, évidemment, les miennes. Quand je code de nouvelles choses qui requièrent un savoir spécialisé, je lance souvent Claude Code dans un dossier de knowledge agent plutôt que de créer un nouveau dossier, pour qu'il bénéficie du savoir expert qu'il contient lors de la planification. En particulier pour des algorithmes de machine learning spécialisés ou des modèles économiques, j'obtiens des résultats bien meilleurs de cette façon qu'avec un modèle « agnostique au sujet » — même un très gros modèle frontière.
(L'article détaille ensuite la structure de ces agents : documents de concepts, documents de thèses, et l'usage combiné de la recherche lexicale BM25 et de la recherche sémantique.)