Eu lembro quando apareceu ChatGPT Pela primeira vez, a primeira coisa que todos começaram a dizer foi: “O papel dos escritores acabou”. As pessoas começaram a especular que sites de notícias, blogs e praticamente todo o conteúdo escrito na internet seriam gerados por IA. Embora essas previsões parecessem extremas para mim, também fiquei impressionado com o texto que o GPT conseguia produzir.
Naturalmente, tive que testar essa nova ferramenta incrível, mas logo descobri que os resultados não eram tão impressionantes quanto pareciam. Mais de dois anos depois, no que diz respeito à minha experiência e casos de uso, nada mudou: sempre que uso o ChatGPT para ajudar na minha escrita, ele não faz nada além de me atrasar e frustrar. Na verdade, acho que usar ferramentas como o ChatGPT na escrita profissional geralmente resulta em resultados abaixo do padrão, especialmente quando se trata de precisão e estilo.
Por que o ChatGPT não está funcionando para mim?
O ChatGPT pode gerar conteúdo muito bom. Ele pode produzir uma linguagem natural, coerente e até mesmo inteligente e interessante. Mas a maioria dos principais exemplos que você tende a ver vêm de prompts muito simples — o tipo de "escreva um poema sobre compras no Walmart, mas no estilo de William Shakespeare" que todo mundo estava fazendo em 2023. No entanto, ao lidar com tarefas complexas ou requisitos específicos, o ChatGPT geralmente mostra limitações na compreensão do contexto e no fornecimento de respostas precisas e relevantes. Essa deficiência o torna ineficaz em cenários que exigem análise aprofundada ou criatividade especializada.
Desculpe, eu simplesmente não posso ser cínico sobre uma tecnologia que pode fazer isso. foto.twitter.com/yjlY72eZ0m
— Thomas H. Ptacek (@tqbf) 2 de dezembro de 2022
Quando você encomenda algo assim, parte do que torna o resultado ótimo é que ele é inesperado. Basicamente, você está pedindo para ele te surpreender e, na maioria dos casos, ele conseguirá.
Por outro lado, quando você tenta usar o ChatGPT para um trabalho de escrita antigo e chato, a história é completamente diferente. Primeiro, para artigos como esse, é inútil. Tudo o que escrevo agora é baseado em minhas próprias experiências e opiniões – a IA não pode escrever por mim. Alguns podem argumentar que isso pode ajudar você a planejar, fazer brainstormings ou melhorar argumentos, mas eu nunca quis ajuda com esse tipo de coisa.
O tipo de trabalho para o qual realmente tentei usar o ChatGPT são blogs corporativos. Você conhece o tipo: posts explicativos, tutoriais e recomendações que abordam tópicos relacionados à empresa e seus produtos (com alguma autopromoção sutil também). Quando você escreve esse tipo de coisa, geralmente recebe muitos requisitos: um guia de estilo para linguagem e gramática, palavras-chave a serem incluídas, fontes a serem incluídas, fontes a serem evitadas e um esboço do conteúdo com títulos, estrutura e pontos principais já definidos.
Se eu quiser uma cópia utilizável, não posso simplesmente fornecer ao GPT um prompt de uma linha e deixá-lo rodar livremente. Então tentei uma estrutura como esta:
- Um prompt de “contexto” inicial explicando o que eu estava escrevendo e o tipo de coisas que eu pediria, junto com um parágrafo de exemplo para mostrar o estilo de linguagem que eu queria.
- Os prompts subsequentes com “esboços de conteúdo” forneciam um ou dois títulos, juntamente com marcadores sobre o que abordar.
Eu nunca pediria muito de uma vez e, como não confiava nele para adicionar estatísticas e fontes, deixava tudo isso com a intenção de fazer eu mesmo mais tarde.
Mas por mais que eu tentasse dividir o trabalho em pequenas partes e dar instruções bem claras, sempre me deparava com os mesmos problemas:
- ChatGPT terrível Ao ouvir instruções.
- Ele tem o péssimo hábito de levar as coisas ao extremo.
- Informações incorretas ou irrelevantes muitas vezes vazam no texto.
- Seu "estilo de escrita" se torna repetitivo e clichê muito rapidamente.
- Quando qualquer um dos problemas acima ocorre, é quase impossível fazer com que um modelo de linguagem grande (LLM) revise ou corrija sua saída com sucesso.
Deixe-me mostrar o que quero dizer.
1. Fraqueza do ChatGPT em entender instruções detalhadas
Ao tentar obter resultados precisos e específicos do ChatGPT, é necessário fornecer instruções claras e detalhadas. No entanto, parece que quanto mais requisitos houver, maior a probabilidade de o modelo ignorar alguns deles. Por exemplo, os prompts podem incluir títulos, marcadores, a quantidade de palavras necessárias, instruções de formatação e a necessidade do chatbot de lembrar as instruções de estilo do início da sessão. Tentei muitas maneiras diferentes de simplificar as coisas, mas sempre achei que o ChatGPT não conseguia lidar com tantas instruções.
Em particular, tive dificuldades frequentes com a contagem de palavras e marcadores. O modelo de linguagem grande (LLM) raramente me dava o número de palavras que eu solicitava (geralmente muito menos do que o solicitado) e nunca ouvia se eu queria ou não algum elemento pontual.
Às vezes, isso pode ser corrigido — por exemplo, se você pediu 200 palavras com marcadores, mas recebeu 300 palavras sem marcadores. É relativamente fácil cortar algumas palavras e adicionar alguns marcadores. Infelizmente, sempre senti que os bugs eram os mais difíceis de corrigir.
Quando você pede 500 palavras sem marcadores e recebe 200 palavras com marcadores, você basicamente tem que fazer a maior parte do trabalho sozinho. Isso exige uma refatoração extensa e um esforço significativo, o que reduz a eficácia do uso do ChatGPT nesses casos.
2. Tendência ao exagero: um problema com o ChatGPT
Quando você pede algo específico ao ChatGPT, como usar uma linguagem amigável ou a segunda pessoa, ele tende a se apegar a esses conceitos e usá-los em excesso de forma perceptível. Este exagero é considerado um dos mais proeminentes Desvantagens do ChatGPT.
A linguagem amigável se transforma em um bate-papo de texto completo com emojis, e o modo de segunda pessoa de alguma forma se transforma em perguntas e referências excessivas ao leitor com o objetivo de usar o pronome "você" o máximo possível. Este é um dos Desafios ChatGPT Na compreensão do contexto.
Você também terá dificuldade se quiser um grande número de exemplos ou citações. Se você simplesmente pedir ao GPT "muito" ou "muitos" de algo, ele provavelmente lhe dará o dobro ou o triplo da quantidade desejada. Se você der a ele um número específico, ele provavelmente irá ignorá-lo completamente e lhe dará algo aleatório. Em outras palavras, você dificilmente consegue controlar a saída. Este problema no controle de saída é considerado Fraqueza no ChatGPT É preciso abordar isso.
3. Informações incorretas ou irrelevantes muitas vezes aparecem no texto.
Todos nós sabemos que a IA "alucina" e às vezes erra fatos aleatoriamente. Isso acontece o suficiente para que você tenha que verificar tudo o que ela diz, o que consome tempo e afeta a quantidade de tempo que você pode economizar ao usá-la. “Alucinações de IA” são um dos maiores desafios enfrentados pelo seu uso na escrita de conteúdo.
Para combater isso, não pedi principalmente fatos ou números. No começo, tentei algumas vezes, mas o processo de verificação de fatos era muito tedioso e logo parei de me importar.
O problema é que o GPT lançará informações aleatórias e imprecisas em suas respostas, independentemente de você solicitar fatos e números ou não. Isso significa que você não pode simplesmente verificar o quão bem o texto é legível ou se está satisfeito com os pontos que está tentando transmitir — você precisa verificar e considerar tudo o que diz. É muito irritante. A validação é uma parte fundamental do processo de utilização de grandes modelos de linguagem (LLMs).
Já que estou falando de erros e alucinações, posso também mencionar "piores cenários". Às vezes, um modelo de linguagem grande (LLM) sai do caminho certo e, embora isso não aconteça sempre, quando acontece, você precisa descartar a sessão e gastar algum tempo colando seus prompts em um novo bate-papo e começando de novo. Eu pessoalmente nunca vi o ChatGPT enlouquecer de uma forma particularmente engraçada, mas meu amigo uma vez recebeu esta preciosidade:
4. Estilo de escrita do ChatGPT: repetitivo e rapidamente clichê
A princípio, pode parecer loucura o quão “humano” o ChatGPT soa. Mas, à medida que você o usa mais e mais, você percebe que ele não parece apenas humano, mas sim uma "pessoa normal".
Os conjuntos de dados da OpenAI incluem a maior parte do conteúdo da internet — milhões de artigos e fóruns pessoais no Reddit. Lamento dizer que muito desse conteúdo é lixo. Mas como o ChatGPT é treinado para isso, ele detecta todos os maus hábitos mais comuns.
Então, quando você gera muito texto com o ChatGPT, você começará a perceber que algumas estruturas de frases e frases se tornam altamente repetitivas. Para mim, os dois piores exemplos foram as duas estruturas de frases a seguir:
- “De A e B para C e D, etc. etc. etc.” (exemplo: No mundo do TikTok, há lugar para todos — desde entusiastas do faça você mesmo e especialistas em beleza até amantes de animais de estimação e professores.)
- “Seja você A ou B, etc. etc. etc.” (exemplo: Não importa se você está apenas começando ou querendo avançar de nível: usar estratégias inteligentes para gerar engajamento real é fundamental para se destacar.)
O ChatGPT gosta tanto dessas duas estruturas de frases que eu tinha quase certeza de conseguir três ou quatro delas em cada sessão. Até esses dois exemplos vieram do mesmo parágrafo em uma de suas respostas. A frase “no mundo de…” no primeiro exemplo é outra maneira que ele gosta de começar uma frase. Tudo isso é chato, clichê e ridiculamente usado em excesso (que é, claro, o principal motivo pelo qual o ChatGPT os cria com tanta frequência). Eu até tentei proibir explicitamente certas frases e tipos de sentenças, começando cada prompt com esta pequena lista:
As pessoas dizem que é quase impossível distinguir entre texto gerado por IA e texto escrito por humanos hoje em dia, mas eu discordo. Se você tentar usar essas ferramentas de IA e vivenciar todos os problemas e maus hábitos, reconhecerá muitos sinais reveladores. Quando as pessoas misturam conteúdo de IA com material escrito por humanos e editam intensamente a maior parte da produção do ChatGPT, você pode ocultá-lo completamente. Mas o conteúdo que veio diretamente do modelo de linguagem e foi publicado praticamente como está, você pode perceber. Você pode descobrir muito facilmente.
5. Dificuldade em depurar ou modificar com sucesso a saída de grandes modelos de linguagem (LLMs).
O verdadeiro desafio é que o ChatGPT raramente consegue resolver problemas sozinho. Quando as coisas dão errado, as tentativas de explicar o problema e solicitar revisões repetidas geralmente falham.
Por exemplo, quando solicitado a ajustar a contagem de palavras, o resultado é frequentemente o mesmo. Quando solicitado a remover pontos, a implementação é enfatizada e, em seguida, um sinal de mais é oferecido. Quando solicitado a ajustar o tom ou o estilo, é difícil implementar a mudança de forma abrangente, resultando em uma combinação inconsistente.
A solução pode ser repetir os prompts e regenerar as respostas do ChatGPT até chegar aproximadamente ao resultado desejado. Mas para os escritores, usar o ChatGPT os obriga a assumir o papel de editor.
Isso pode não ser um problema para todos — muitos escritores fazem alguma edição como parte de seu trabalho — mas incomoda outros. A ideia de editar o trabalho de outras pessoas ou a saída do GPT é indesejável.
Quanto à frequência de erros, em cada sessão que dura horas com mais de 30 prompts, sempre há a possibilidade de encontrar algum obstáculo.
Resultado: desisti.
Passei meses tentando aprender a usar o ChatGPT em 2023 e voltei a usá-lo após grandes atualizações nos dois anos seguintes, mas minha experiência nunca mudou. Outros grandes modelos de linguagem (LLMs) também foram testados, mas mesmo modelos mais novos que usam “inferência” e acionam um monólogo interno antes de responder ainda sofrem dos mesmos problemas de usabilidade.
Modelos atuais de LLM Isso não acelera o processo de escrita para mim. Tudo o que faz é me forçar a gastar tempo fazendo o que odeio em vez de reservar tempo para o que gosto. Se você odeia digitar e nunca quer fazer isso, o ChatGPT pode definitivamente ajudar. Mas se escrever é um hobby para você ou algo que você escolhe fazer para viver, isso provavelmente vai te deixar louco.
No fim das contas, nunca publiquei nada que se pudesse chamar de "gerado por IA". Toda vez que eu tentava, como dizem, "integrá-lo ao meu fluxo de trabalho", eu acabava batendo a cabeça na parede, perdendo muito tempo e fechando o programa quando percebia que não tinha conseguido nada e que o prazo estava se aproximando.
Comentários estão fechados.