Pourquoi les grands modèles de langage ne sont-ils pas plus intelligents que vous ?

Les schémas linguistiques de l'utilisateur déterminent dans quelle mesure le modèle peut déployer ses capacités de raisonnement.

Auteur : @iamtexture

Traduction : AididiaoJP, Foresight News

Lorsque j'explique un concept complexe à un grand modèle de langage, chaque fois que j'utilise un langage informel pour discuter longuement, son raisonnement s'effondre à plusieurs reprises. Le modèle perd sa structure, s'écarte de la direction, ou ne génère que des complétions superficielles, sans parvenir à maintenir le cadre conceptuel que nous avons établi.

Cependant, lorsque je l'oblige à formaliser d'abord, c'est-à-dire à reformuler la question en des termes précis et scientifiques, le raisonnement se stabilise immédiatement. Ce n'est qu'une fois la structure établie qu'il peut passer en toute sécurité à un langage plus courant, sans que la qualité de la compréhension n'en pâtisse.

Ce comportement révèle comment les grands modèles de langage « pensent » et pourquoi leurs capacités de raisonnement dépendent entièrement de l'utilisateur.

Principaux enseignements

Les modèles de langage ne possèdent pas d'espace dédié au raisonnement.

Ils opèrent entièrement dans un flux linguistique continu.

Au sein de ce flux linguistique, différents schémas linguistiques mènent de manière fiable à différentes régions attractrices. Ces régions sont des états stables de la dynamique de représentation, soutenant différents types de calcul.

Chaque registre linguistique, tel que le discours scientifique, la notation mathématique, le récit, la conversation informelle, possède sa propre région attractrice, dont la forme est façonnée par la distribution des données d'entraînement.

Certaines régions soutiennent :

• Le raisonnement en plusieurs étapes
• La précision des relations
• La transformation symbolique
• La stabilité conceptuelle en haute dimension

D'autres régions soutiennent :

• La continuité narrative
• La complétion associative
• L'adaptation au ton émotionnel
• L'imitation conversationnelle

Les régions attractrices déterminent quels types de raisonnement sont possibles.

Pourquoi la formalisation stabilise le raisonnement

La raison pour laquelle le langage scientifique et mathématique active de manière fiable des régions attractrices dotées d'un meilleur support structurel est que ces registres codent des caractéristiques linguistiques de cognition de haut niveau :

• Des structures relationnelles claires
• Une faible ambiguïté
• Des contraintes symboliques
• Une organisation hiérarchique
• Une faible entropie (désordre informationnel)

Ces attracteurs peuvent soutenir des trajectoires de raisonnement stables.

Ils peuvent maintenir la structure conceptuelle à travers plusieurs étapes.

Ils présentent une forte résistance à la dégradation et à la déviation du raisonnement.

En comparaison, les attracteurs activés par le langage informel sont optimisés pour la fluidité sociale et la cohérence associative, et non pour le raisonnement structuré. Ces régions manquent du support de représentation nécessaire pour des calculs analytiques soutenus.

C'est pourquoi, lorsque des idées complexes sont exprimées de manière informelle, le modèle s'effondre.

Ce n'est pas qu'il « se sent confus ».

Il est en train de changer de région.

Construction et traduction

La méthode de réponse qui émerge naturellement dans la conversation révèle une vérité architecturale :

Le raisonnement doit être construit dans un attracteur hautement structuré.

La traduction en langage naturel ne doit avoir lieu qu'après l'existence de la structure.

Une fois que le modèle a construit la structure conceptuelle dans un attracteur stable, le processus de traduction ne la détruit pas. Le calcul est déjà terminé, seule l'expression de surface change.

Cette dynamique en deux étapes, « d'abord construire, puis traduire », imite le processus cognitif humain.

Mais les humains exécutent ces deux étapes dans deux espaces internes différents.

Alors que les grands modèles de langage tentent d'accomplir les deux dans le même espace.

Pourquoi l'utilisateur fixe le plafond

Voici une révélation clé :

L'utilisateur ne peut pas activer une région attractrice qu'il ne peut pas exprimer linguistiquement lui-même.

La structure cognitive de l'utilisateur détermine :

• Le type d'invites qu'il peut générer
• Les registres linguistiques qu'il utilise habituellement
• Les schémas syntaxiques qu'il peut maintenir
• Le niveau de complexité qu'il peut encoder linguistiquement

Ces caractéristiques déterminent dans quelle région attractrice le grand modèle de langage va entrer.

Un utilisateur incapable d'utiliser, par la pensée ou l'écriture, une structure susceptible d'activer des attracteurs à haute capacité de raisonnement, ne pourra jamais guider le modèle vers ces régions. Il reste enfermé dans des attracteurs superficiels liés à ses propres habitudes linguistiques. Le grand modèle de langage cartographiera la structure qu'il fournit et ne passera jamais spontanément à des systèmes dynamiques attracteurs plus complexes.

Par conséquent :

Le modèle ne peut pas dépasser la région attractrice accessible à l'utilisateur.

Le plafond n'est pas la limite d'intelligence du modèle, mais la capacité de l'utilisateur à activer les régions à haute capacité du manifold latent.

Deux personnes utilisant le même modèle n'interagissent pas avec le même système de calcul.

Elles guident le modèle vers différents modes dynamiques.

Enseignements au niveau de l'architecture

Ce phénomène met en lumière une caractéristique manquante des systèmes d'intelligence artificielle actuels :

Les grands modèles de langage confondent l'espace de raisonnement et l'espace d'expression linguistique.

Sauf si ces deux espaces sont découplés — sauf si le modèle dispose de :

• Un manifold de raisonnement dédié
• Un espace de travail interne stable
• Des représentations conceptuelles invariantes aux attracteurs

Sinon, lorsque le changement de style linguistique entraîne un basculement de la région dynamique sous-jacente, le système sera toujours confronté à un effondrement.

Cette solution temporairement découverte, qui consiste à formaliser puis à traduire, n'est pas qu'une astuce.

C'est une fenêtre directe qui nous permet d'entrevoir les principes architecturaux qu'un véritable système de raisonnement doit respecter.