Plus un concept a de sens, moins il est facile à apprendre
L’apprentissage distributionnel exploite les régularités ; les concepts rares, privés ou très contextualisés offrent souvent moins de supervision directe et peuvent exiger un jugement humain supplémentaire.
Le paradoxe de la rareté
Les mots les plus faciles à rencontrer ne sont pas nécessairement ceux qui portent le plus de poids. Articles, prépositions et formules courantes se répètent dans presque tous les textes. Un concept comme le Ding an sich kantien, la « chose en soi », apparaît beaucoup moins souvent et change de sens avec l’argument dans lequel il s’inscrit. La fréquence donne au modèle de nombreux exemples du premier groupe ; elle lui offre moins de prises pour le second.
Il serait faux d’en conclure que les modèles ignorent les concepts rares. Ils peuvent définir la chose en soi, la comparer au phénomène et mobiliser des commentaires philosophiques. L’hypothèse concerne plutôt la robustesse : plus un terme est rare, disputé et chargé d’une histoire propre, plus il est difficile de distinguer la compréhension de la restitution plausible. Les données abondantes lissent les usages courants ; les cas rares exposent la qualité du jugement.
Le titre formule donc un paradoxe, pas une loi mathématique : la fréquence n’est pas l’inverse du sens. Un concept rare peut être appris par composition, transfert et contexte ; un mot fréquent peut porter un poids immense. L’heuristique est plus modeste : les significations rares, privées ou très situées offrent souvent moins de supervision directe, et leur maîtrise est plus difficile à vérifier. Ce qui compte le plus est parfois ce qui se laisse le moins facilement compter.
Avant le modèle, le découpage
Un modèle de langage ne reçoit pas directement les mots tels qu’un lecteur les voit. Un tokenizer transforme le texte en unités manipulables. Selon les systèmes, celles-ci peuvent être des mots entiers, des fragments, des octets ou des caractères regroupés. Des familles de méthodes comme BPE apprennent un vocabulaire en fusionnant des séquences fréquentes ; d’autres utilisent des modèles unigrammes ou des variantes propriétaires.
Ce découpage est une décision d’architecture. Une expression philosophiquement indivisible peut être représentée par plusieurs tokens ; un mot banal peut tenir dans une seule unité. Cela ne détruit pas automatiquement le sens : les couches du modèle apprennent des relations entre séquences et peuvent reconstruire des ensembles au-delà d’une frontière de token. Mais le choix affecte le coût, la longueur des séquences et les régularités les plus faciles à apprendre.
La compression et la compréhension ne posent donc pas la même question. La première cherche une représentation efficace des répétitions ; la seconde demande quelles distinctions doivent rester ensemble pour qu’un argument conserve sa force. L’optimisation statistique peut aider à découvrir ces ensembles, sans garantir qu’elle retrouvera toujours la frontière qu’un spécialiste juge décisive.
Deux routes qui se croisent sans se confondre
La route fréquentielle part des occurrences : elle observe que certaines séquences reviennent ensemble et en construit des représentations. Sa grande force est l’échelle. Elle peut parcourir plus de textes qu’aucun lecteur et repérer des régularités invisibles à l’intuition individuelle.
La route sémantique part d’une exigence différente : ceci doit être lu comme un concept, même si ses occurrences sont peu nombreuses ; ces deux formulations ne sont pas équivalentes, même si elles apparaissent dans des contextes voisins. Elle s’appuie sur l’histoire du problème, les conséquences d’une distinction et la capacité à sentir qu’une paraphrase a perdu le point essentiel.
Les routes se croisent. Le statisticien peut employer des ontologies humaines ; le philosophe peut découvrir une relation grâce à un corpus. Mais elles ne deviennent pas identiques par le seul accroissement de la vitesse. Une forte corrélation ne dit pas encore pourquoi une frontière conceptuelle mérite d’être préservée. La réponse à ce « pourquoi » engage un jugement sur ce qui importe.
Le reste produit par toute structure
Dans le cadre SAE, toute mise en forme produit un reste : quelque chose devient lisible, tandis qu’une autre dimension est reléguée à la marge. Le tokenizer rend le texte calculable ; il ne transporte pas à lui seul l’expérience historique d’un concept. Le corpus rend les usages observables ; il représente mal ce qui n’a presque jamais été écrit. La fonction de perte rend l’erreur mesurable ; elle sélectionne en même temps les erreurs auxquelles l’entraînement accordera du poids.
Le reste n’est pas synonyme d’échec. Sans découpage, aucun calcul n’est possible ; sans sélection, aucune connaissance ne prend forme. Il rappelle seulement que l’optimisation n’est jamais neutre. Plus on perfectionne une mesure, plus il devient nécessaire de demander ce qu’elle ne mesure pas.
Un modèle travaille en aval de ces choix. Il peut apprendre à compenser certaines segmentations et signaler ses incertitudes, mais il n’observe pas spontanément toutes les alternatives qui n’ont jamais été encodées. Le point aveugle le plus profond n’est pas l’erreur visible dans la réponse. C’est la question absente du dispositif qui a défini ce qu’une bonne réponse pouvait être.
Les langues inégalement découpées
Cette architecture a aussi une dimension linguistique et politique. L’efficacité d’un tokenizer varie selon sa méthode, son vocabulaire et les données qui ont servi à le construire. Dans certains modèles, une phrase chinoise, arabe ou agglutinante exige davantage de tokens que son équivalent anglais ; dans d’autres, les écarts ont été réduits. Il n’existe donc pas une règle identique pour tous les systèmes.
La tendance reste importante. Lorsqu’une langue est moins représentée dans les données de conception et d’entraînement, ses unités peuvent être moins économiques, ses savoirs locaux plus rares et ses évaluations moins fines. Le même budget de contexte n’achète alors pas exactement la même capacité. Il ne s’agit pas nécessairement d’une intention d’exclure, mais d’un effet de point de vue : optimiser à partir d’un centre rend plus coûteux ce qui s’écarte du centre.
Qualifier trop vite toute cette situation de coloniale peut masquer les différences techniques. Refuser sa dimension politique serait tout aussi naïf. Les communautés linguistiques doivent pouvoir mesurer les écarts, construire leurs corpus, participer aux choix de segmentation et définir elles-mêmes les concepts que l’évaluation doit protéger.
L’humain dans la boucle fixe le plafond
On présente parfois l’humain dans la boucle comme un surveillant provisoire, destiné à disparaître lorsque l’automatisation sera assez bonne. L’heuristique attire l’attention sur un cas plus résistant : partout où la qualité dépend de distinctions rares, le jugement humain n’est pas seulement un dispositif de sécurité. Il fournit un critère que la fréquence, à elle seule, ne contient pas.
Un spécialiste reconnaît qu’une traduction de Aufhebung a sacrifié sa double valeur, qu’une catégorie clinique a été aplatie ou qu’une notion juridique a changé de régime. Il ne possède pas une magie inaccessible au calcul. Il a accumulé des rencontres, des erreurs, des controverses et des conséquences qui donnent un relief au terme. Le modèle peut mobiliser cette histoire si elle est représentée ; quelqu’un doit encore juger si la mobilisation convient au cas présent.
Dire cela n’interdit pas le progrès technique. De meilleurs tokenizers, des mémoires plus longues, la recherche documentaire et l’entraînement multilingue corrigent de nombreux défauts. Ils déplacent la frontière du reste. Ils ne suppriment pas le besoin de décider ce que l’on refuse de perdre.
Commencer avant de demander
La conséquence pratique tient dans l’ordre de la collaboration. Avant de consulter le modèle, écrivez votre propre jugement, même pauvre, incomplet et maladroit. La seconde où vous hésitez devant un mot n’est pas du temps perdu : elle indique souvent qu’une distinction résiste. Cette résistance est une information.
Donnez ensuite le brouillon au modèle. Demandez-lui les objections, les parallèles, les contre-exemples et les formulations concurrentes. Puis reprenez la main. Ce circuit utilise l’échelle statistique pour éprouver un jugement qui existait avant elle. Si l’ordre est inversé et que le premier cadre vient toujours de la machine, l’utilisateur devient surtout l’éditeur de la moyenne disponible.
L’écriture a perdu le geste et la présence de la parole ; l’imprimerie a standardisé ce que le manuscrit individualisait ; le texte numérique crée ses propres absences. La modélisation statistique poursuit cette histoire. Elle ne dissout pas le sens, mais elle ne le porte jamais sans reste. La tâche humaine est de reconnaître ce reste, de lui donner un nom et de le ramener dans la boucle avant qu’une réponse fluide nous fasse oublier qu’il existait.
Réécriture française indépendante fondée sur l’argumentation des versions chinoise et anglaise, recomposée pour le lectorat francophone. 中文・English