Do problema dos morangos ao modelo o1: como a OpenAI resolveu (em parte) o limite de tokenização
No verão de 2024, um meme viral da Internet envergonhou os modelos linguísticos mais avançados do mundo: "Quantos 'r's' há na palavra 'strawberry'?" A resposta correta é três, mas o GPT-4o teimou em responder "dois". Um erro aparentemente trivial que revelou uma limitação fundamental dos modelos de linguagem: a sua incapacidade de analisar letras individuais dentro das palavras.
Em 12 de setembro de 2024, a OpenAI lançou o1 - conhecido internamente pelo nome de código "Strawberry" - o primeiro modelo de uma nova série de "modelos de raciocínio" concebidos especificamente para ultrapassar este tipo de limitação. E sim, o nome não é por acaso: como confirmou um investigador da OpenAI, o1 consegue finalmente contar corretamente o 'r' em 'strawberry'.
Mas a solução não é a que o artigo original imaginava. A OpenAI não "ensinou" o modelo a analisar as palavras letra a letra. Em vez disso, desenvolveu uma abordagem completamente diferente: ensinar o modelo a "raciocinar" antes de responder.
O problema continua a estar enraizado na tokenização - o processo fundamental através do qual os modelos de linguagem processam o texto. Como explicado num artigo técnico publicado no arXiv em maio de 2025 ("The Strawberry Problem: Emergence of Character-level Understanding in Tokenized Language Models"), os modelos não vêem as palavras como sequências de letras mas como "tokens" - unidades de significado convertidas em números.
Quando o GPT-4 processa a palavra "strawberry", o seu tokenizador divide-a em três partes: [str][aw][berry], cada uma com um ID numérico específico (496, 675, 15717). Para o modelo, "morango" não é uma sequência de 10 letras, mas uma sequência de 3 tokens numéricos. É como se ele estivesse a ler um livro em que cada palavra é substituída por um código e depois alguém lhe pedisse para contar as letras de um código que ele nunca viu escrito.
O problema agrava-se com palavras compostas. "Cronometrista" está dividido em tokens separados, o que torna impossível para o modelo determinar a posição exacta das letras sem um processo de raciocínio explícito. A fragmentação afecta não só a contagem das letras, mas também a compreensão da estrutura interna das palavras.
O OpenAI o1 resolveu o problema de uma forma inesperada: em vez de modificar a tokenização - o que é tecnicamente difícil e comprometeria a eficiência do modelo - ensinou o sistema a "pensar antes de falar", utilizando uma técnica chamada "raciocínio em cadeia".
Quando se pergunta a o1 quantos 'r's existem em 'strawberry', o modelo não responde imediatamente. Passa vários segundos - por vezes até minutos para perguntas complexas - a processar internamente uma "cadeia de raciocínio" oculta ao utilizador. Este processo permite-lhe:
Como explicou Noam Brown, investigador da OpenAI, numa série de publicações no X: "o1 é treinado com aprendizagem por reforço para 'pensar' antes de responder através de uma cadeia de pensamento privada. O modelo recebe recompensas durante o treino por cada passo correto no processo de raciocínio, e não apenas pela resposta final correta.
Os resultados são impressionantes mas dispendiosos. Num exame de qualificação para as Olimpíadas Internacionais de Matemática, o1 resolveu 83% dos problemas corretamente contra 13% do GPT-4o. Em questões de nível de doutoramento em ciências, atingiu 78% de precisão contra 56% do GPT-4o. Mas este poder tem um preço: o1 demora mais de 30 segundos a responder a questões que o GPT-4o resolve em 3 segundos, e custa 15 dólares por milhão de tokens introduzidos contra 5 dólares do GPT-4o.
A técnica não é mágica, mas metódica. Quando recebe um pedido, o1 gera internamente uma longa sequência de "pensamentos" que não são mostrados ao utilizador. Para o problema 'r' em 'strawberry', o processo interno poderia ser:
"Primeiro, tenho de perceber a estrutura das palavras. Morango pode ser tokenizado como [str][aw][berry]. Para contar o 'r', tenho de reconstruir a palavra completa ao nível dos caracteres. Str contém: s-t-r (1 'r'). Aw contém: a-w (0 'r'). Berry contém: b-e-r-y (2 'r'). Total: 1+0+2 = 3 "r". Verifico: morango = s-t-r-a-w-b-e-r-r-r-y. Conto os "r": posição 3, posição 8, posição 9. Confirmado: 3 r's".
Este raciocínio interno está oculto por definição. A OpenAI proíbe explicitamente os utilizadores de tentarem revelar a cadeia de raciocínio da o1, monitorizando os prompts e potencialmente revogando o acesso àqueles que violam esta regra. A empresa cita razões de segurança da IA e de vantagem competitiva, mas a decisão foi criticada como uma perda de transparência para os programadores que trabalham com modelos de linguagem.
Apesar dos progressos, o o1 não resolveu completamente o problema. Uma investigação publicada na revista Language Log em janeiro de 2025 testou vários modelos num desafio mais complexo: "Escreva um parágrafo em que a segunda letra de cada frase constitua a palavra 'CODE'".
o1 standard ($20/mês) falhou, contando erradamente a primeira letra de cada palavra inicial como a 'segunda letra'. o1-pro ($200/mês) corrigiu o problema... após 4 minutos e 10 segundos de 'pensamento'. O DeepSeek R1, o modelo chinês que abalou o mercado em janeiro de 2025, cometeu o mesmo erro que o o1 standard.
O problema fundamental mantém-se: os modelos continuam a ver o texto através de tokens, não de letras. O o1 aprendeu a "contornar" esta limitação através do raciocínio, mas não a eliminou. Como um investigador observou no Language Log: "A tokenização faz parte da essência do que são os modelos de linguagem; para qualquer resposta errada, a explicação é precisamente 'bem, tokenização'".
Um artigo importante publicado no arXiv em maio de 2025 ("The Strawberry Problem: Emergence of Character-level Understanding in Tokenized Language Models") analisa este fenómeno de uma perspetiva teórica. Os investigadores criaram 19 tarefas sintéticas que isolam o raciocínio ao nível dos caracteres em contextos controlados, demonstrando que estas capacidades surgem subitamente e apenas tardiamente no treino.
O estudo propõe que a aprendizagem da composição de caracteres não é fundamentalmente diferente da aprendizagem do conhecimento de senso comum - surge através de processos de "percolação concetual" quando o modelo atinge uma massa crítica de exemplos e ligações.
Os investigadores sugerem uma modificação arquitetónica ligeira que melhora significativamente o raciocínio ao nível dos caracteres, preservando as vantagens indutivas dos modelos baseados em subpalavras. No entanto, estas modificações continuam a ser experimentais e não foram implementadas em modelos comerciais.
O caso do morango ensina uma lição importante sobre a fiabilidade dos modelos de linguagem: são ferramentas probabilísticas, não são calculadoras determinísticas. Como Mark Liberman observou no Language Log: "É preciso ter cuidado ao confiar na resposta de qualquer sistema de IA atual em tarefas que envolvam contar coisas".
Isto não significa que os modelos sejam inúteis. Como observou um comentador: "Só porque um gato comete o erro estúpido de se assustar com um pepino, não significa que não devamos confiar ao gato a tarefa muito mais difícil de manter os roedores fora do edifício". Os modelos linguísticos não são a ferramenta certa se quiser contar sistematicamente as letras, mas são excelentes para processar automaticamente milhares de transcrições de podcasts e extrair nomes de convidados e anfitriões.
Para tarefas que exigem uma precisão absoluta - aterrar uma nave espacial em Marte, calcular dosagens farmacêuticas, verificar a conformidade legal - os modelos linguísticos actuais continuam a ser inadequados sem supervisão humana ou verificação externa. A sua natureza probabilística torna-os poderosos para a correspondência de padrões e a geração criativa, mas pouco fiáveis para tarefas em que o erro não é aceitável.
A OpenAI declarou que tenciona fazer experiências com modelos o1 que "raciocinam durante horas, dias ou mesmo semanas" para aumentar ainda mais as suas capacidades de raciocínio. Em dezembro de 2024, foi anunciado o o3 (o nome o2 foi omitido para evitar conflitos de marca registada com o operador móvel O2) e, em março de 2025, foi lançada a API do o1-pro, o modelo de IA mais caro da OpenAI até à data, a um preço de 150 dólares por milhão de tokens de entrada e 600 dólares por milhão de saída.
A direção é clara: em vez de tornar os modelos cada vez maiores (escalonamento), a OpenAI está a investir em fazê-los "pensar" durante mais tempo (computação em tempo de teste). Esta abordagem pode ser mais sustentável do ponto de vista energético e computacional do que treinar modelos cada vez mais maciços.
Mas há uma questão em aberto: estes modelos estão realmente a "raciocinar" ou estão simplesmente a simular o raciocínio através de padrões estatísticos mais sofisticados? A investigação da Apple, publicada em outubro de 2024, indicou que modelos como o o1 podiam replicar passos de raciocínio a partir dos seus próprios dados de treino. Ao alterar números e nomes em problemas matemáticos, ou simplesmente ao repetir o mesmo problema, os modelos tiveram um desempenho significativamente pior. Ao adicionar informações estranhas, mas logicamente irrelevantes, o desempenho caiu 65% em alguns modelos.
O problema do morango e a solução o1 revelam tanto o potencial como as limitações inerentes aos modelos linguísticos actuais. A OpenAI demonstrou que, através de treino direcionado e tempo de processamento adicional, os modelos podem ultrapassar certas limitações estruturais da tokenização. Mas não as eliminaram - contornaram-nas.
Para os utilizadores e programadores, a lição prática é clara: compreender como funcionam estes sistemas - o que fazem bem e onde falham - é crucial para os utilizar eficazmente. Os modelos de linguagem são óptimas ferramentas para tarefas probabilísticas, correspondência de padrões, geração criativa e síntese de informação. Mas para tarefas que exigem precisão determinística - calcular, calcular, verificar factos específicos - continuam a não ser fiáveis sem supervisão externa ou ferramentas complementares.
O nome "Strawberry" permanecerá como um lembrete irónico desta limitação fundamental: mesmo os sistemas de IA mais avançados do mundo podem tropeçar em questões que uma criança de seis anos resolveria instantaneamente. Não porque sejam estúpidos, mas porque "pensam" de formas profundamente diferentes de nós - e talvez devêssemos deixar de esperar que pensem como os humanos.
Fontes:
.svg)
.svg)
.svg)
.jpeg)
.jpeg)
.jpeg)