Os Large Language Models (LLMs), modelos de processamento de linguagem que usam inteligência artificial para compreender e gerar texto, ainda não estão prontos para serem usados como complementos para amostras humanas em pesquisas de mercado. Isso porque ainda possuem vieses e necessitam de mais variações e nuances tanto qualitativa como quantitativamente.
Isso é o que indica a Kantar Brasil, empresa global de pesquisas e insights de marca, que realizou testes comparando as respostas geradas pelo GPT-4 com dados de uma pesquisa com cerca de 5 mil respondentes sobre um produto de luxo e suas atitudes em relação à tecnologia.
No processo, foi criada uma “amostra sintética” com características demográficas idênticas à amostra humana da empresa. Foram usados marcadores demográficos da amostra humana, como localização geográfica, idade, etnia, renda, educação, como parte do “condicionamento de prompt” para o GPT-4 garantir que suas respostas fossem comparáveis às respostas da pesquisa daquele perfil de respondente.
“Na pesquisa de mercado, conjuntos de dados sintéticos podem introduzir vieses ou distorções e não refletirem com precisão as características e preferências de uma população-alvo, como confirmado pelos nossos testes”, afirma Juliana Cavallari, diretora de contas da Kantar Brasil. “Portanto, é crucial entender os casos de uso, as metodologias de solução e os frameworks de avaliação antes de confiar em dados sintéticos para informar decisões comerciais importantes.”
