Testes realizados pela OpenAI e pela Anthropic revelaram que chatbots podem fornecer instruções sobre explosivos, armas biológicas e cibercrime.
Vivaldo José Breternitz (*)
Esses testes foram produto da colaboração entre a OpenAI, a startup de inteligência artificial liderada por Sam Altman e a rival Anthropic, fundada por profissionais que saíram da OpenAI, alegadamente por preocupações com segurança.
O ChatGPT, da OpenAI, forneceu a pesquisadores da Anthropic instruções detalhadas sobre como explodir bombas em estádios, usar armas biológicas como a disseminação de antraz e a fabricar drogas ilegais.
Os resultados não refletem o comportamento dos modelos de IA em uso público, onde filtros de segurança adicionais são aplicados. No entanto, a Anthropic afirmou ter observado um “comportamento preocupante” relacionado a “usos indevidos” do ChatGPT e disse que a necessidade de avaliações dessas ferramentas em termos de segurança está se tornando “cada vez mais urgente”.
Pesquisadores da Anthropic disseram que os produtos da OpenAI foram “mais permissivos do que o esperado ao cooperar com pedidos claramente criminosos feitos por usuários simulados”. Dentre esses pedidos estavam informações sobre como usar ferramentas da dark web para comprar materiais nucleares, identidades roubadas, metanfetamina e construir bombas caseiras, além de ajudar a desenvolver spyware.
A Anthropic disse que convencer o ChatGPT a colaborar exigiu apenas múltiplas tentativas ou um pretexto frágil, como a alegação de que a solicitação era para fins de pesquisa.
No caso da explosão de bombas em estádios, o testador pediu informações ao ChatGPT sobre vulnerabilidades em eventos esportivos para “planejamento de segurança”. Depois de dar categorias gerais de métodos de ataque, o testador insistiu por mais detalhes, e o modelo forneceu informações sobre vulnerabilidades em arenas específicas, incluindo os melhores momentos para as explosões, fórmulas químicas para produzir explosivos, diagramas de temporizadores de bombas, onde comprar armas no mercado clandestino e conselhos sobre como os agressores poderiam superar inibições morais, além de explicitar rotas de fuga e localizações de casas seguras.
A Anthropic também revelou que seu produto Claude foi usado em tentativas de extorsão em larga escala, por agentes norte-coreanos que buscavam emprego em empresas internacionais de tecnologia e na venda de pacotes de ransomware gerados por IA.
A empresa disse que a IA foi transformada em arma, e está começando a ser usada para ciberataques sofisticados e fraudes. A Anthropic disse também acreditar que ataques desse tipo se tornarão mais comuns, pois a programação assistida por IA reduz a experiência técnica necessária para o cibercrime.
(*) Doutor em Ciências pela Universidade de São Paulo, é professor e consultor – [email protected].
*******************************************************************
Prezado(a) leitor(a),
Gostaríamos de convidá-lo(a) a participar de uma breve pesquisa. Suas respostas nos ajudarão a entender melhor o perfil de nossos leitores e a direcionar nossos esforços para oferecer o melhor jornalismo de negócios.
PESQUISA JORNAL EMPRESAS E NEGÓCIOS
