Perplexidade: Uma IA de computador local que solicita permissão antes da nuvem.

A maioria dos assistentes de IA exige que você envie suas perguntas, arquivos e outros dados para servidores de terceiros. Mas o novo computador portátil da Perplexity inverte esse conceito, executando todo o sistema de IA em seus próprios dispositivos.

O computador portátil foi anunciado na terça-feira, trazendo a plataforma de computação inteligente da Perplexity para o Nvidia DGX Spark e outros dispositivos Linux com placas gráficas Nvidia compatíveis.

A empresa observa que cada tarefa começa no seu dispositivo. Se o modelo local atingir uma etapa que exige raciocínio mais avançado, o Portable Computer solicita permissão antes de enviar essa etapa específica para um modelo avançado na nuvem. A resposta é então enviada de volta para o fluxo de trabalho local, enquanto arquivos e outras informações confidenciais podem permanecer no dispositivo.

Isso pode torná-lo atraente para qualquer pessoa que deseje um agente de IA fácil de usar, sem precisar entregar automaticamente todas as suas tarefas a um provedor de serviços em nuvem.

No entanto, existe uma desvantagem que é bastante cara.

Mais do que apenas um chatbot instalado localmente

Você já pode baixar e executar modelos de código aberto no seu computador. Mas a parte complicada é transformar um desses modelos em um agente de IA capaz de trabalhar com arquivos, usar ferramentas e concluir uma tarefa com várias etapas.

Normalmente, isso envolve encontrar e configurar um mecanismo de inferência, bem como conectar a infraestrutura do agente, um ambiente de teste (sandbox) e quaisquer conectores necessários para acessar aplicativos externos. Você também é responsável por garantir que todos esses componentes funcionem em conjunto.

O Computador Portátil combina esses componentes em um único sistema. Ele inclui o modelo local, o mecanismo de inferência, ferramentas proxy, conectores de aplicativos e um ambiente isolado (sandbox) onde pode executar código e usar ferramentas.

A inteligência artificial pode trabalhar com arquivos armazenados no seu computador, ler PDFs, executar comandos do sistema, receber ditados e pesquisar na web. Os usuários também podem integrar serviços como Google Drive, Gmail, Slack e GitHub.

De acordo com a Perplexity, o código e as ferramentas são usados ​​em um ambiente de sandbox local. Isso proporciona certa separação entre o agente de IA e o restante da máquina, embora eu gostaria de mais detalhes sobre exatamente o que ele pode acessar e como essas permissões são controladas.

Ele sabe quando pedir ajuda.

O roteamento híbrido é talvez a parte mais interessante de um computador portátil.

Um modelo local menor pode ser suficiente para localizar um arquivo, extrair informações de um PDF ou executar uma série de etapas simples. No entanto, é menos provável que ele alcance as capacidades de inferência de modelos maiores da OpenAI , Anthropic ou Google.

A solução da Perplexity é manter a tarefa local até que o modelo encontre algo que não consiga processar de forma confiável. Então, o computador portátil pode perguntar se pode enviar essa etapa para um modelo baseado em nuvem.

Os usuários não precisam definir configurações de privacidade nem criar suas próprias regras de roteamento. O sistema toma a decisão conforme necessário, mas o usuário ainda precisa aprovar a transferência. Um sistema de IA supostamente local torna-se muito menos privado se retornar silenciosamente à nuvem sempre que a tarefa se tornar complexa. Para saber mais sobre como proteger suas informações pessoais, confira nossa comparação das políticas de privacidade do ChatGPT, Gemini, Cloud e Perplexity.

A Perplexity também observa que o trabalho concluído localmente não consumirá os saldos das faturas. Apenas a parte enviada para a nuvem será contabilizada no uso da nuvem.

No lançamento, os usuários poderão escolher entre o modelo Qwen com 27 bilhões de parâmetros ou uma versão proprietária do Perplexity, treinada posteriormente e chamada PPLX 27B. Espera-se que, em seguida, seja lançado o modelo Nemotron 3.5 Lightning da Nvidia. Os usuários também poderão trazer seus próprios modelos e servidores de inferência.

O obstáculo reside no equipamento.

O computador portátil pode funcionar no seu computador, mas não em qualquer computador.

O software é executado inicialmente no Linux e requer hardware Nvidia com pelo menos 24 GB de VRAM. Ele é compatível com placas de vídeo Nvidia DGX Spark de tamanho padrão para desktops, bem como com computadores compatíveis que executam o sistema operacional DGX ou Ubuntu em hardware ARM ou x64.

O suporte para Windows está previsto para setembro. A Perplexity ainda não anunciou suporte para macOS.

Computadores portáteis estarão disponíveis para assinantes dos planos Perplexity Pro, Max, Enterprise Pro e Enterprise Max. Mesmo com uma assinatura compatível, a maioria das pessoas não terá o hardware necessário embaixo da mesa.

Isso torna este lançamento inicial mais relevante para entusiastas de IA, desenvolvedores e empresas que já possuem sistemas Nvidia de alto desempenho, em comparação com alguém que está decidindo entre ChatGPT e Perplexity em um laptop comum.

No entanto, a ideia subjacente pode alcançar um público muito mais amplo. Os assistentes de IA estão obtendo acesso a quantidades crescentes de informações pessoais, incluindo e-mails, documentos de trabalho e arquivos armazenados em nossos dispositivos. Executar o Plus localmente oferece aos usuários outra maneira de controlar o que sai de seus dispositivos e quando.

O computador portátil ainda não está pronto para substituir um chatbot baseado em nuvem para a maioria das pessoas. No entanto, ele oferece uma prévia de como um assistente de IA mais personalizado poderá ser quando o hardware necessário para executá-lo se tornar acessível.