Ferramentas de inteligência artificial generativa (IAG) são capazes de realizar tarefas que antes pareciam coisa de ficção científica, mas a maioria delas ainda enfrenta dificuldades com coisas muito básicas.
Vivaldo José Breternitz (*)
Além disso, com frequência, geram respostas totalmente erradas, a ponto de suas telas iniciais conterem alertas aos usuários acerca da possibilidade de erros – essas respostas erradas, são chamadas “alucinações”, no ambiente de IAG.
Agora, pesquisadores da Universidade de Edimburgo testaram algumas das ferramentas de IAG mais populares para testar o quão bem eles conseguiam responder a perguntas baseadas em imagens de relógios e calendários.
Os sistemas testados foram o Gemini 2.0 do Google DeepMind, o Claude 3.5 Sonnet da Anthropic, o Llama 3.2-11B-Vision-Instruct da Meta, o Qwen2-VL7B-Instruct da Alibaba, o MiniCPM-V-2.6 da ModelBest e o GPT-4o e GPT-o1 da OpenAI.
Os resultados foram desanimadores: no geral, os sistemas de IAG leem mostradores de relógio corretamente menos de 25% das vezes. Vários tipos de relógios foram usados no experimento: com mostradores com algarismos romanos e de cores diferentes, com e sem ponteiro de segundos etc.
As dificuldades maiores foram com relógios que usavam algarismos romanos e ponteiros de forma mais rebuscada – o desempenho das ferramentas não melhorou quando o ponteiro de segundos foi removido.
Quanto aos calendários, o resultado também foi muito ruim: usando imagens de calendários, os pesquisadores fizeram perguntas como: em qual dia da semana caiu o ano novo? Qual é o 153º dia deste ano? Mesmo os melhores resultados apresentaram índices de erro ao redor de 20%.
As taxas de sucesso variaram: o Gemini-2.0 foi o que obteve a maior pontuação no teste de relógio, enquanto GPT-01 foi 80% preciso ao responder perguntas sobre calendários.
Os pesquisadores disseram que as deficiências detectadas devem ser corrigidas para que os sistemas de IAG sejam integrados com sucesso em aplicações do mundo real sensíveis ao tempo, como agendamento, automação e tecnologias assistivas.
Como temos dito, IAG é uma ferramenta extremamente útil, mas que deve ser utilizada com muito cuidado.
(*) Doutor em Ciências pela Universidade de São Paulo, é professor, consultor e diretor do Fórum Brasileiro de Internet das Coisas – [email protected].
