Aplicativo HuggingSnap AI: veja o mundo através da câmera do seu telefone

Resumo:

• A Hugging Face lançou o HuggingSnap, um aplicativo iOS que pode analisar e descrever o que a câmera do seu iPhone vê.
• O aplicativo funciona offline e nunca envia dados para a nuvem.
• O HuggingSnap não é perfeito, mas mostra o que pode ser feito no dispositivo.

Dar à IA a capacidade de "ver" está se tornando cada vez mais comum com o surgimento de ferramentas como ChatGPT, Microsoft Copilot e Google Gemini, que aprimoram os recursos da IA. A Hugging Face lançou seu próprio aplicativo para iOS chamado HuggingSnap, que permite que você veja o mundo através da câmera do seu iPhone e descreva o que vê sem uma conexão com a internet. O aplicativo funciona offline, o que o torna ideal para uso em áreas com baixa conectividade com a internet.

Imagine como se você tivesse um guia turístico pessoal que soubesse como ficar em silêncio. O HuggingSnap funciona completamente offline usando o modelo de visão interno do Hugging Face, smolVLM2, para permitir reconhecimento instantâneo de objetos, descrições de cenas, leitura de texto e observações gerais sobre o ambiente ao seu redor sem enviar nenhum dado para o vazio da internet.

Essa capacidade de trabalhar offline torna o HuggingSnap especialmente útil em situações em que a conectividade é intermitente. Se você estiver fazendo trilhas em áreas selvagens, viajando para o exterior sem internet confiável ou simplesmente no corredor de um supermercado onde o sinal de celular desaparece misteriosamente, ter esse recurso no seu telefone é uma verdadeira bênção. Além disso, o aplicativo afirma ser ultraeficiente, o que significa que não vai esgotar sua bateria como os modelos de IA baseados em nuvem fazem.

HuggingSnap olha para o meu mundo

Decidi experimentar o aplicativo HuggingSnap. Primeiro, apontei para a tela do meu laptop enquanto o navegador estava aberto na minha biografia do TechRadar. No início, o aplicativo fez um bom trabalho ao transcrever o texto e explicar o que viu. No entanto, ele ficou surpreso ao ver as manchetes e outros detalhes sobre meu currículo. O HuggingSnap achou que as referências a novos chips de computador em um título eram uma indicação do que estava executando meu laptop, e pareceu pensar que alguns dos nomes nos títulos se referiam a outras pessoas que usavam meu laptop.

Então apontei a câmera para o parquinho do meu filho, que estava cheio de brinquedos que eu ainda não tinha arrumado. Mais uma vez, a IA fez um ótimo trabalho ao descrever a área de jogo e os jogos dentro dela em geral. Ele identificou corretamente as cores e até mesmo as texturas ao diferenciar brinquedos de pelúcia de blocos. Mas ele também errou alguns detalhes. Por exemplo, ele descreveu um urso como um cachorro e parecia pensar que um anel de empilhamento era uma bola. No geral, considero o HuggingSnap bom para descrever uma cena para um amigo, mas não bom o suficiente para um boletim de ocorrência.

Olhe para o futuro

A abordagem do HuggingSnap no dispositivo é o que o diferencia dos recursos integrados do iPhone. Embora o dispositivo possa identificar espécies de plantas, copiar texto de fotos e dizer se aquela aranha na sua parede é do tipo que deveria fazer você se movimentar, ele está sempre enviando alguma informação para a nuvem.

O HuggingSnap é único em um mundo onde a maioria dos aplicativos tenta rastrear quase tudo sobre você. No entanto, a Apple está investindo pesadamente em tecnologias de IA para futuros iPhones. Mas, por enquanto, se você quer privacidade com visibilidade de IA, o HuggingSnap pode ser perfeito para você.