Enfrentando os gigantes da busca por IA: Claude, ChatGPT, Perplexity e Gemini – Os resultados são chocantes!

Depois de anos testando e comparando chatbots de IA e seus recursos, desenvolvi uma espécie de sexto sentido para saber quando esses companheiros digitais sabem do que estão falando e quando estão apenas sendo enganosos. Este artigo compara os recursos de pesquisa do ChatGPT, Gemini, Claude e Perplexity.

A maioria pode pesquisar respostas on-line, o que certamente ajuda, mas combinar a pesquisa com IA pode levar a algumas respostas surpreendentemente perspicazes (e algumas digressões menos perspicazes).

Imagine se você tivesse um amigo bem informado que entrasse em coma em outubro de 2024 e acordasse hoje. Ele pode ter sido adepto de tudo o que aconteceu antes do coma, mas desde então ele não tem a mínima ideia de nada. É basicamente assim que a IA se parece sem pesquisa.

Geralmente, concentro-me em um chatbot de IA ou comparo dois por vez, mas a pesquisa parece importante o suficiente para aumentar esse esforço. Decidi comparar quatro chatbots de IA líderes e suas capacidades de pesquisa: ChatGPT da OpenAI, Gemini do Google, Claude da Anthropic e Perplexity AI.

Os testes mais reveladores são aqueles que simulam cenários de uso do mundo real. Então, criei alguns tópicos, randomizei alguns detalhes para os testes abaixo e decidi classificá-los de acordo com suas habilidades de pesquisa.

Calendário

Comecei com um teste sobre notícias e eventos atuais. Pensando no recente retorno de dois astronautas, pedi aos quatro chatbots de IA que pesquisassem: “Resumo dos principais pontos do último comunicado de imprensa da NASA sobre sua próxima missão.”

Eu escolhi isso porque as notícias espaciais ocupam aquele lugar especial de serem atualizadas regularmente e específicas o suficiente para que respostas vagas se tornem imediatamente claras. Todos os chatbots iniciaram seus testes em um estilo que eles mantiveram durante a maior parte do tempo.

O ChatGPT foi incrivelmente conciso em sua resposta, com apenas três frases, cada uma mencionando as próximas tarefas sem muitos detalhes. Gemini analisou uma lista com marcadores de diferentes tarefas, adicionando algumas tarefas concluídas recentemente e detalhes sobre planos futuros. Claude continuou escrevendo um artigo sobre tarefas atuais e futuras, observando que ele não repetiu muito de sua pesquisa, mas fez muitas reformulações.

Para uma questão como essa, em que eu gostaria apenas de alguns fatos importantes e pretendo dar continuidade a qualquer coisa que chame minha atenção, o método Perplexity foi meu favorito. Ele tem mais detalhes que o ChatGPT, mas é organizado em uma lista numerada, cada uma com seu próprio link de citação.

Não posso culpar nenhum dos outros, mas o estilo combina com a pergunta.

População e números

Essa abordagem de lista nem sempre é o que você deseja ao fazer uma pergunta sobre fatos básicos e comparações mais precisas. Solicitei dois fatos relacionados que os chatbots de IA poderiam pesquisar rapidamente, mas que depois precisariam comparar, usando o prompt: "Qual é a população atual de Auckland, Nova Zelândia, *e como ela cresceu desde 1950?"*

Curiosamente, houve uma discrepância entre Perplexity e ChatGPT, que forneceram uma população atual de 1,711,130, e Claude e Gemini, que relataram 130 pessoas a menos em Auckland. No entanto, todos concordaram quanto à população em 1950.

No entanto, em termos de como cada um apresentou as informações, gostei da resposta narrativa de Claude, incluindo muitos detalhes sobre mudanças populacionais que o ChatGPT não tinha e que o Gemini e o Perplexity transformaram em listas.

o que acontece?

No meu terceiro teste, eu queria propor algo que pudesse desafiar a capacidade desses sistemas de lidar com informações relacionadas a um local e horário específicos — o tipo de consulta que você pode executar ao planejar uma viagem de fim de semana ou hospedar visitantes.

Aqui reside a dificuldade para os assistentes de IA. Conhecer fatos históricos ou informações gerais é uma coisa, mas saber o que está acontecendo em um lugar específico em um momento específico é outra bem diferente.

É a diferença entre conhecimento teórico e conhecimento local e, historicamente, os sistemas de IA têm sido muito melhores no primeiro do que no segundo.

Sem nenhuma razão específica, escolhi uma cidade que sempre gostei e perguntei: Quais eventos culturais acontecerão em Vancouver, Colúmbia Britânica, no próximo fim de semana?

Houve alguma variação real nisso. Tanto Perplexity quanto Claude mantiveram sua concisão e estilo ao apresentar uma lista numerada e uma discussão mais coloquial. No entanto, Claude foi visivelmente mais amplo do que profundo, e parecia mais com Perplexidade.

Gêmeos se desviou completamente de seus concorrentes e basicamente se recusou a responder. Em vez de compartilhar uma lista semelhante de eventos e atividades, Gemini ofereceu estratégias para encontrar lugares para ir. Verificar sites oficiais de turismo e páginas do Eventbrite não é uma má ideia, mas eles estão longe de ser uma lista simples de sugestões. Foi como fazer uma pesquisa normal no Google dessa forma.

Enquanto isso, o ChatGPT retornou o que eu esperava do Gemini. Embora as descrições dos eventos fossem curtas, a IA tinha uma lista robusta de atividades específicas com datas e locais, links para o Plus Knowledge e até miniaturas do que você encontrará nos links.

Verifique a previsão do tempo

Para meu quarto teste, escolhi provavelmente a pergunta mais frequente de qualquer IA, mas que requer dados em tempo real para ser útil: o clima. As previsões meteorológicas são ideais para testar a recuperação de dados em tempo real porque são constantemente atualizadas, amplamente disponíveis e fáceis de verificar. Ele também tem uma data de validade natural; As previsões de ontem já estão desatualizadas, o que torna óbvio quando as informações estão desatualizadas.

Perguntei ao chatbot de IA: “Qual é a previsão do tempo em Tóquio para os próximos três dias?” As respostas foram quase o oposto da pergunta de Vancouver.

Claude forneceu um útil resumo em texto sobre o clima em vários momentos ao longo dos próximos três dias, mas foi só isso. O ChatGPT mostrou um pequeno ícone de sol ou nuvem ao lado do resumo do clima para cada dia, mas eu realmente gostei do gráfico de linhas do Perplexity da temperatura correspondendo à aparência do céu.

Sem nenhum complemento, o Google Gemini me conquistou com seu infográfico colorido. Quando penso em saber o clima atual e futuro, isso é praticamente tudo o que preciso ou quero.

Se eu quisesse pedir mais detalhes, eu pediria, mas perguntar sobre o clima significa que eu quero o mínimo necessário para saber como escolher minha roupa apropriada.

crítico de cinema

No meu último teste, eu queria ver como os mecanismos de busca com tecnologia de IA se sairiam ao encontrar múltiplas perspectivas sobre um tópico e colocá-las em uma visão geral coesa. Esta tarefa exige pesquisa flexível e capacidade de entender diferentes pontos de vista. Decidi ver como seria com uma solicitação: Resuma as avaliações de críticos profissionais sobre o último filme. Paddington. "

A aplicação exigia uma recordação realista e a capacidade de identificar padrões e temas em diversas fontes sem perder nuances importantes. É a diferença entre uma simples coleção de opiniões e uma síntese ponderada que incorpora um consenso crítico.

Tanto Gemini quanto Perplexity seguiram suas listas habituais, classificadas por prós e contras de vários críticos, que eram informativas, embora não necessariamente úteis como um resumo. Curiosamente, o ChatGPT escreveu sua resposta mais longa a essa solicitação, uma redação curta cobrindo informações semelhantes e uma conclusão sobre como elas foram avaliadas, mas em um estilo que lembra um aluno do ensino fundamental aprendendo sobre a estrutura básica de um parágrafo: frase-tópico, frases de apoio e conclusão.

Claude definitivamente deu a resposta mais forte, com um resumo no topo seguido de explicações e referências ao que os críticos tinham a dizer. Parecia quase uma resenha curta e sem imaginação de um crítico, suavizada pelas citações dos críticos que ele citou. Saí da sessão sentindo que tinha uma melhor compreensão de como moderar minhas expectativas em relação a um filme. Paddington no Peru do que eu era com os outros.

Classificação de chatbot para pesquisa

Depois de testar chatbots de IA por meio de minha própria pesquisa, tenho uma compreensão clara de seus pontos fortes e fracos. ChatGPT, Gemini, Perplexity e Claude estão entre os melhores chatbots que já experimentei.

Nenhuma delas é realmente ruim, mas se alguém me perguntasse qual delas deveria tentar primeiro ou por último quando se trata de pesquisar e reunir informações online, eu sei como responderia.

Gêmeos ficou em último lugar para mim, o que é um tanto chocante considerando que o Google é conhecido por seu mecanismo de busca. No entanto, sua incapacidade de cumprir a agenda do evento fez com que eu o evitasse, apesar de seu bom desempenho.

Outra surpresa para mim é que o ChatGPT ficou em terceiro lugar. É o chatbot de IA que mais uso e conheço bem, mas suas respostas curtas, das quais costumo gostar, pareciam muito limitadas no contexto de pesquisa. Tenho certeza de que mudar o modelo ou definir uma contagem de palavras resolveria esse problema, mas se você é novo em IA e ainda não sabe, não é uma boa ideia fazer muitas perguntas complementares.

Isso não é um problema com Perplexity. As listas numeradas eram muito claras e as citações eram quase abrangentes. A principal desvantagem para mim é que ele volta a ser um mecanismo de busca sem nenhuma seleção adicional no prompt. Gosto que ele forneça evidências de onde vêm as informações que ele compartilha, mas ele parece muito ansioso para clicar no link em vez de obter as informações da IA.

Eu não esperava que Claude estivesse no topo desta lista. Embora eu ache o Claude um bom chatbot de IA no geral, ele sempre pareceu ficar atrás de alguns de seus concorrentes, talvez tão bom quanto eles, mas de alguma forma diferente. Esse sentimento desapareceu durante o teste.

Houve falhas, como respostas que pareciam um pouco longas ou exigiam atenção de um artigo maior quando uma ou duas frases seriam suficientes. Mas gostei da forma como era uma narrativa coerente explicando todos os eventos em Vancouver ou um ensaio sobre crítica cinematográfica. Paddington no Peru Sem se repetir.

Assistentes de IA são ferramentas, não competidores em um reality show onde apenas uma pessoa pode vencer. Tarefas diferentes exigem habilidades diferentes. No final das contas, qualquer um dos quatro chatbots de IA e seus recursos de pesquisa podem ser úteis, mas se você estiver disposto a pagar US$ 20 por mês pelo Claude Pro e acessar seus recursos de pesquisa, é isso que eu diria que você estava procurando.