OpenAI avança com “Strawberry”, nova tecnologia de IA para raciocínio avançado

OpenAI, empresa criadora do ChatGPT, está desenvolvendo uma nova tecnologia de raciocínio para seus modelos de inteligência artificial. O projeto, conhecido internamente como “Strawberry”, é uma iniciativa inédita e ambiciosa que visa aprimorar significativamente as capacidades de IA.

A OpenAI, apoiada pela Microsoft, está empenhada em mostrar que seus modelos de IA podem oferecer recursos avançados de raciocínio. Equipes dedicadas dentro da empresa estão trabalhando intensamente no Strawberry, conforme revelado por um documento interno visto pela Reuters em maio. Embora a data exata do documento não tenha sido determinada, ele detalha um plano abrangente de como a OpenAI pretende utilizar o Strawberry para realizar pesquisas avançadas.

Ainda não é possível determinar quão próximo o Strawberry está de ser disponibilizado ao público, mas a fonte descreveu o plano como um trabalho em andamento. Os detalhes específicos de funcionamento do Strawberry são mantidos em segredo, mesmo dentro da OpenAI. No entanto, o documento descreve que o projeto visa permitir que a IA não apenas gere respostas para consultas, mas também planeje com antecedência suficiente para navegar na Internet de forma autônoma e confiável, realizando o que a OpenAI chama de “pesquisa profunda”.

Desafios e inovações

Segundo entrevistas com mais de uma dúzia de pesquisadores de IA, os modelos atuais ainda não alcançaram esse nível de capacidade. Questionado sobre o Strawberry, um porta-voz da OpenAI declarou: “Queremos que nossos modelos de IA vejam e entendam o mundo mais como nós. A pesquisa contínua sobre novas capacidades de IA é uma prática comum na indústria, com a crença compartilhada de que esses sistemas melhorarão o raciocínio ao longo do tempo“. Contudo, o porta-voz não respondeu diretamente às perguntas específicas sobre o Strawberry.

Anteriormente, o projeto Strawberry era conhecido como Q*. Segundo a Reuters, no ano passado, o Q* já era considerado um avanço significativo dentro da empresa. Duas fontes relataram que, no início deste ano, demonstrações do Q* mostraram sua capacidade de responder a perguntas complexas de ciências e matemática, superando os modelos disponíveis comercialmente.

Avanços na capacidade de raciocínio

Uma fonte informou que a OpenAI testou internamente sua IA e obteve mais de 90% de acerto em um conjunto de dados MATH, um benchmark de problemas matemáticos de campeonato. A Reuters não pôde confirmar se este desempenho estava relacionado ao projeto Strawberry.

Recentemente, em uma reunião interna, a OpenAI demonstrou um projeto de pesquisa com novas habilidades de raciocínio semelhantes às humanas, conforme relatado pela Bloomberg. Um porta-voz da OpenAI confirmou a reunião, mas se recusou a fornecer detalhes específicos. A Reuters também não conseguiu determinar se o projeto demonstrado era o Strawberry.

A OpenAI espera que essa inovação melhore drasticamente as capacidades de raciocínio de seus modelos de IA. Segundo a fonte familiarizada, o Strawberry envolve um método especializado de processamento de um modelo de IA após ele ter sido pré-treinado em grandes conjuntos de dados.

O papel do raciocínio na IA

Pesquisadores entrevistados pela Reuters afirmam que o raciocínio é fundamental para que a IA atinja inteligência de nível humano ou super-humano. Apesar de os grandes modelos de linguagem conseguirem resumir textos e compor prosa elegante rapidamente, eles frequentemente falham em problemas de senso comum, como reconhecer falácias lógicas. Quando confrontados com esses problemas, os modelos tendem a “alucinar” informações falsas.

Melhorar o raciocínio em modelos de IA é visto como a chave para desbloquear a capacidade de realizar desde grandes descobertas científicas até o desenvolvimento de novos aplicativos de software. Sam Altman, CEO da OpenAI, destacou no início deste ano que “as áreas mais importantes de progresso serão em torno da capacidade de raciocínio”.

Empresas como Google, Meta e Microsoft também estão experimentando diferentes técnicas para melhorar o raciocínio em modelos de IA. Entretanto, os pesquisadores divergem sobre a capacidade dos grandes modelos de linguagem (LLMs) em incorporar ideias e planejamento de longo prazo em suas previsões. Yann LeCun, pioneiro da IA moderna que trabalha na Meta, frequentemente argumenta que os LLMs não são capazes de raciocínio semelhante ao humano.

O Strawberry é considerado um componente crucial para a OpenAI superar esses desafios. O documento visto pela Reuters descreve as capacidades que o Strawberry pretende habilitar, embora não esclareça como isso será realizado. Nos últimos meses, a OpenAI tem indicado a desenvolvedores e outras partes interessadas que está prestes a lançar uma tecnologia com capacidades de raciocínio significativamente mais avançadas.

Métodos de treinamento

O Strawberry inclui uma forma especializada de “pós-treinamento” dos modelos de IA generativos da OpenAI, adaptando os modelos básicos para aprimorar seu desempenho de maneiras específicas após terem sido treinados em grandes quantidades de dados generalizados. Este processo é semelhante a um método desenvolvido em Stanford em 2022, conhecido como “Self-Taught Reasoner” ou “STaR”. O STaR permite que modelos de IA se “auto-inicializem” em níveis mais altos de inteligência por meio da criação iterativa de seus próprios dados de treinamento.

Noah Goodman, professor de Stanford e co-criador do STaR, afirmou à Reuters: “Eu acho que isso é ao mesmo tempo emocionante e assustador… se as coisas continuarem indo nessa direção, temos algumas coisas sérias para pensar como humanos“.

A OpenAI planeja utilizar o Strawberry para executar tarefas de longo prazo (LHT), referindo-se a tarefas complexas que exigem planejamento antecipado e execução de uma série de ações durante um longo período. Para isso, a empresa está criando, treinando e avaliando modelos com base em um conjunto de dados de “pesquisa profunda”. Esses modelos serão testados para realizar pesquisas navegando autonomamente na web, assistidos por um “CUA” (agente de uso de computador), que pode tomar ações baseadas em suas descobertas.