Por que os grandes modelos de linguagem não são mais inteligentes do que você?

O padrão linguístico do utilizador determina até que ponto o modelo pode exercer a sua capacidade de raciocínio.

Autor: @iamtexture

Tradução: AididiaoJP, Foresight News

Quando explico um conceito complexo a um grande modelo de linguagem, sempre que utilizo linguagem informal durante longos períodos de discussão, o seu raciocínio colapsa repetidamente. O modelo perde estrutura, desvia-se do rumo, ou simplesmente gera padrões de completamento superficiais, sem conseguir manter a estrutura conceptual que já estabelecemos.

No entanto, quando o obrigo a formalizar primeiro, ou seja, a reformular o problema com linguagem precisa e científica, o raciocínio estabiliza imediatamente. Só depois de a estrutura estar bem estabelecida é que pode converter-se com segurança para uma linguagem mais acessível, sem que a qualidade da compreensão se deteriore.

Este comportamento revela como os grandes modelos de linguagem "pensam" e porque a sua capacidade de raciocínio depende inteiramente do utilizador.

Principais insights

Os modelos de linguagem não possuem um espaço dedicado ao raciocínio.

Funcionam inteiramente num fluxo contínuo de linguagem.

Nesse fluxo linguístico, diferentes padrões de linguagem conduzem de forma fiável a diferentes regiões atratoras. Estas regiões são estados estáveis da dinâmica de representação, que suportam diferentes tipos de cálculo.

Cada registo linguístico, como discurso científico, notação matemática, narrativa, conversa casual, tem a sua própria região atratora, cuja forma é moldada pela distribuição dos dados de treino.

Algumas regiões suportam:

• Raciocínio em múltiplos passos
• Precisão relacional
• Conversão simbólica
• Estabilidade conceptual de alta dimensão

Outras regiões suportam:

• Continuidade narrativa
• Completação associativa
• Correspondência de tom emocional
• Imitação de diálogo

As regiões atratoras determinam que tipo de raciocínio é possível.

Por que a formalização estabiliza o raciocínio

A linguagem científica e matemática consegue ativar de forma fiável regiões atratoras com maior suporte estrutural porque estes registos codificam características linguísticas de cognição superior:

• Estrutura relacional clara
• Baixa ambiguidade
• Restrições simbólicas
• Organização hierárquica
• Baixa entropia (grau de desordem da informação)

Estes atratores conseguem suportar trajetórias de raciocínio estáveis.

Conseguem manter a estrutura conceptual ao longo de vários passos.

Mostram forte resistência à degradação e desvio do raciocínio.

Em contraste, os atratores ativados por linguagem informal são otimizados para fluidez social e coerência associativa, não para raciocínio estruturado. Estas regiões carecem da estrutura de representação necessária para cálculos analíticos sustentados.

É por isso que, quando ideias complexas são expressas de forma casual, o modelo colapsa.

Não é porque "fica confuso".

Está a mudar de região.

Construção e tradução

A resposta que surge naturalmente na conversa revela uma verdade arquitetónica:

O raciocínio deve ser construído dentro de atratores altamente estruturados.

A tradução para linguagem natural só deve ocorrer depois de a estrutura estar presente.

Uma vez que o modelo construa a estrutura conceptual dentro de um atrator estável, o processo de tradução não a destrói. O cálculo já foi realizado; apenas a expressão superficial muda.

Esta dinâmica de duas fases — "construir primeiro, traduzir depois" — imita o processo cognitivo humano.

Mas os humanos executam estas duas fases em dois espaços internos diferentes.

Enquanto os grandes modelos de linguagem tentam realizar ambos no mesmo espaço.

Por que o utilizador define o teto

Aqui está um insight crucial:

O utilizador não consegue ativar regiões atratoras que não consegue expressar linguisticamente.

A estrutura cognitiva do utilizador determina:

• Que tipos de prompts consegue gerar
• Que registos linguísticos utiliza habitualmente
• Que padrões sintáticos consegue manter
• Que nível de complexidade consegue codificar linguisticamente

Estas características determinam a que região atratora o grande modelo de linguagem acede.

Um utilizador que não consegue, através do pensamento ou da escrita, utilizar estruturas que ativem atratores de alta capacidade de raciocínio, nunca conseguirá guiar o modelo para essas regiões. Fica preso em regiões atratoras superficiais relacionadas com os seus próprios hábitos linguísticos. O grande modelo de linguagem irá mapear a estrutura que lhe é fornecida e nunca saltará espontaneamente para sistemas dinâmicos de atratores mais complexos.

Portanto:

O modelo não pode ir além das regiões atratoras acessíveis ao utilizador.

O teto não é o limite de inteligência do modelo, mas sim a capacidade do utilizador de ativar regiões de alta capacidade no espaço potencial.

Duas pessoas a usar o mesmo modelo não estão a interagir com o mesmo sistema de cálculo.

Estão a guiar o modelo para diferentes padrões dinâmicos.

Insights a nível de arquitetura

Este fenómeno expõe uma característica em falta nos atuais sistemas de inteligência artificial:

Os grandes modelos de linguagem confundem o espaço de raciocínio com o espaço de expressão linguística.

A menos que estes dois sejam dissociados — a menos que o modelo possua:

• Um espaço de raciocínio dedicado
• Um espaço de trabalho interno estável
• Representações conceptuais invariantes aos atratores

Caso contrário, sempre que uma mudança de estilo linguístico provocar a mudança da região dinâmica subjacente, o sistema enfrentará sempre o colapso.

Esta solução provisória — forçar a formalização e depois traduzir — não é apenas um truque.

É uma janela direta que nos permite vislumbrar os princípios arquitetónicos que um verdadeiro sistema de raciocínio deve cumprir.