O Google publicou uma avaliação sobre a confiabilidade dos chatbots de inteligência artificial (IA); os resultados estão longe de serem animadores.
Vivaldo José Breternitz (*)
Utilizando sua recém-lançada FACTS Benchmark Suite, uma ferramenta que mede a precisão das respostas dadas por chatbots, o Google descobriu que mesmo os melhores modelos de IA não conseguem chegar a 70% de acertos. O sistema com melhor desempenho, o Gemini 3 Pro, atingiu 69% de precisão, enquanto sistemas de outras empresas, como OpenAI, Anthropic e xAI obtiveram pontuações ainda mais baixas.
A conclusão é simples e desconfortável: esses chatbots ainda erram aproximadamente uma em cada três respostas, mesmo quando essas respostas parecem convincentes.
A nova ferramenta é importante porque a maioria dos testes de IA existentes se concentra em saber se um modelo pode concluir uma tarefa, e não se a informação que ele produz é realmente verdadeira.
Para setores como finanças, saúde e direito, essas falhas podem ser extremamente custosas; uma resposta convincente, mas que contém erros, pode causar danos reais, especialmente quando os usuários presumem que o chatbot sabe do que está falando.
Os chatbots tiveram o pior desempenho em tarefas que envolvem a leitura de gráficos, diagramas ou imagens, com acertos frequentemente abaixo de 50%. Isso é preocupante, pois se um chatbot ler erroneamente um raio-X, um gráfico de vendas ou extrair o número errado de um documento, pode gerar erros que são fáceis de ignorar, mas difíceis de reverter.
A principal conclusão não é que os chatbots sejam inúteis, mas que a confiança cega é um risco. Os dados do Google sugerem que a IA está se tornando mais precisa, mas ainda exige verificação, salvaguardas e supervisão humana antes de ser tratada como uma ferramenta totalmente confiável.
(*) Doutor em Ciências pela Universidade de São Paulo, é professor, consultor e diretor do Fórum Brasileiro de Internet das Coisas – [email protected].
