A DeepSeek está se preparando para a próxima revolução da IA ​​com modelos de autoaperfeiçoamento.

Há poucos meses, a grande aposta de Wall Street na IA generativa enfrentou uma reviravolta com o surgimento do DeepSeek . Apesar de sua natureza altamente censurada, a abordagem de código aberto do DeepSeek provou que um modelo de IA inferencial de ponta não exige necessariamente bilhões de dólares e pode ser alcançado com recursos modestos. Isso representa uma grande mudança em nossa compreensão do desenvolvimento de modelos avançados de IA.

Ele foi rapidamente adotado comercialmente por empresas gigantes como Huawei, Oppo e Vivo, enquanto empresas como Microsoft, Alibaba e Tencent rapidamente lhe deram um lugar em suas plataformas. Agora, o próximo alvo da badalada empresa chinesa são modelos de IA de autoaperfeiçoamento que usam uma abordagem de "julgamento-recompensa" em loop para se aprimorarem. Essa tendência reflete a busca contínua das empresas por desenvolver sistemas de IA mais eficientes e eficazes.

Em um artigo pré-publicado (via Bloomberg ), pesquisadores da DeepSeek e da Universidade Tsinghua, na China, descrevem uma nova abordagem que pode tornar os modelos de IA mais inteligentes e eficientes por meio do autoaperfeiçoamento. A técnica subjacente é conhecida como Ajuste Inicial de Autocrítica (SPCT, na sigla em inglês), e a abordagem é tecnicamente chamada de Modelagem Generativa de Recompensa (GRM, na sigla em inglês). Essa abordagem representa um avanço significativo no campo do aprendizado por reforço em IA.

Em termos simples, é um pouco como criar um loop de feedback em tempo real. Um modelo de IA é aprimorado principalmente pela expansão do tamanho do modelo durante o treinamento. Isso requer muito trabalho humano e recursos de computação. O DeepSeek propõe um sistema em que um “árbitro” primário cria seu próprio conjunto de críticas e princípios para o modelo de IA enquanto prepara uma resposta às consultas do usuário. Essa abordagem visa reduzir a dependência de recursos humanos intensivos no processo de treinamento.

Esse conjunto de críticas e princípios é então comparado às regras estabelecidas no cerne do modelo de IA e ao resultado desejado. Se houver um alto grau de correspondência, um sinal de recompensa é gerado, o que efetivamente direciona a IA a ter um desempenho melhor na próxima rodada. Esse processo contínuo de avaliação e recompensa aumenta a capacidade do modelo de aprender e se adaptar.

Os especialistas responsáveis ​​pelo artigo científico se referem a esse modelo de IA de próxima geração, com capacidade de auto-otimização, como DeepSeek-GRM. Os benchmarks listados no artigo indicam que esses modelos superam o Gemini do Google, o Llama da Meta e o GPT-4o da OpenAI. A DeepSeek afirma que esses modelos de IA de próxima geração serão disponibilizados por meio de um canal de código aberto. Esse compromisso com a abertura pode acelerar o ritmo da inovação no campo da inteligência artificial.

IA de autoaperfeiçoamento: é possível?

A ideia de inteligência artificial com capacidade de autoaperfeiçoamento tem gerado discussões ambiciosas e controversas. O ex-CEO do Google, Eric Schmidt, afirmou que talvez precisemos de um "desligador" para esses sistemas. A revista Fortune citou Schmidt dizendo: "Quando um sistema consegue se aprimorar sozinho, devemos considerar seriamente desligá-lo". Sistemas de IA com capacidade de autoaperfeiçoamento são considerados um dos desenvolvimentos mais significativos na área de inteligência artificial.

O conceito de inteligência artificial com capacidade de autoaperfeiçoamento não é totalmente novo. A ideia de uma máquina superinteligente, capaz de criar máquinas melhores, remonta ao matemático I. J. Goode, em 1965. Em 2007, o especialista em IA Eliezer Yudkowski teorizou sobre a Seed AI , uma inteligência artificial “projetada para autoconhecimento, automodificação e autoaperfeiçoamento iterativo”.

Em 2024, a empresa japonesa Sakana AI apresentou detalhes de seu conceito de "mundo da IA" , um sistema capaz de navegar por toda a linha de produção de um artigo científico do início ao fim. Em um artigo publicado em março deste ano, especialistas da Meta revelaram modelos de linguagem com recompensa automática, nos quais a própria IA atua como juíza, concedendo recompensas durante o treinamento. Essa mudança em direção a sistemas de IA com aprendizado automático representa um salto significativo no desenvolvimento da inteligência artificial.

O CEO da Microsoft, Satya Nadella, afirma que o desenvolvimento de IA está sendo otimizado pelo modelo o1 da OpenAI e entrou em uma fase recursiva: "estamos usando IA para construir ferramentas de IA para construir uma IA melhor". pic.twitter.com/IHuFIpQl2C

– Tsaratostra (@tsarnick) 21 de outubro de 2024

Testes internos realizados pela Meta em seu modelo de IA Llama 2, utilizando tecnologia inovadora de auto-recompensa, mostraram que ele supera concorrentes como o Claude 2 da Anthropic, o Gemini Pro do Google e o GPT-4 da OpenAI. A Anthropic, apoiada pela Amazon, forneceu detalhes do que chamou de manipulação de recompensas, um processo inesperado "no qual o modelo modifica diretamente seu próprio mecanismo de recompensa".

O Google não está muito atrás nessa ideia. Em um estudo publicado na Nature no início deste mês, especialistas do Google DeepMind demonstraram um algoritmo de IA chamado Dreamer que consegue se aprimorar, usando o Minecraft como exemplo prático.

Especialistas da IBM estão trabalhando em uma abordagem própria chamada treinamento de fechamento indutivo, onde um modelo de IA usa suas próprias respostas e as avalia em relação aos dados de treinamento para se aprimorar. No entanto, toda a premissa não é totalmente positiva.

Pesquisas sugerem que quando modelos de IA tentam se treinar com dados sintéticos autogerados, eles sofrem falhas coloquialmente conhecidas como "travamentos de modelo". Será interessante ver como a DeepSeek implementará a ideia e se poderá fazê-lo de uma forma mais econômica do que seus concorrentes ocidentais.