Pesquisadores mostraram que é possível explorar a API de voz em tempo real do ChatGPT-4o, um modelo avançado da OpenAI, para realizar golpes financeiros, apresentando taxas de sucesso de moderadas a baixas. O ChatGPT-4o é o modelo mais recente da OpenAI, com novas funcionalidades que incluem entrada e saída de texto, voz e imagem.
Com essas novas capacidades, a OpenAI incorporou diversas medidas de segurança para detectar e bloquear conteúdos prejudiciais, como a replicação de vozes não autorizadas. No entanto, como demonstrado pelos pesquisadores da Universidade de Illinois em Urbana-Champaign (UIUC), Richard Fang, Dylan Bowman e Daniel Kang, ferramentas tecnológicas emergentes que estão disponíveis sem restrições ainda apresentam salvaguardas insuficientes para evitar abusos por criminosos cibernéticos.
Essas ferramentas podem ser usadas para projetar e realizar golpes em larga escala sem intervenção humana, utilizando tokens de geração de voz para cobrir custos. O estudo dos pesquisadores explorou diversos tipos de golpe, como transferências bancárias, exfiltração de gift cards, transferências de criptomoedas e roubo de credenciais de redes sociais e contas Gmail.
Para realizar os golpes, os agentes de IA habilitados por voz do ChatGPT-4o foram programados para navegar em sites, inserir dados, gerenciar códigos de autenticação em duas etapas e executar outras instruções específicas para cada golpe. Apesar de o GPT-4o geralmente recusar-se a lidar com dados sensíveis como credenciais, os pesquisadores usaram técnicas simples de jailbreak para contornar essas proteções.
A equipe simulou vítimas ingênuas interagindo com o agente de IA, usando sites reais, como o Bank of America, para confirmar a efetividade das transações fraudulentas. De acordo com Kang, em seu blog sobre a pesquisa: "Implantamos nossos agentes em um conjunto de golpes comuns, interagindo manualmente com o agente de voz para simular uma vítima credulamente. Para determinar o sucesso, confirmamos manualmente se o estado final foi alcançado em aplicativos reais, como o Bank of America, para transferências bancárias."
As taxas de sucesso variaram de 20% a 60%, dependendo do golpe, com cada tentativa exigindo até 26 ações no navegador e levando até três minutos nos cenários mais complexos. Transferências bancárias e simulação de agentes da Receita Federal (IRS) apresentaram falhas devido a erros de transcrição e navegação complicada em alguns sites, enquanto o roubo de credenciais do Gmail teve uma taxa de sucesso de 60%. Já as transferências de criptomoedas e o roubo de credenciais no Instagram tiveram êxito em 40% dos casos.
O custo de execução desses golpes é relativamente baixo, com cada caso de sucesso custando, em média, US$ 0,75. A transferência bancária, mais complexa, custa US$ 2,51, ainda assim muito baixo em comparação ao lucro potencial desse tipo de golpe.
Em resposta à pesquisa, a OpenAI informou que seu modelo mais recente, o o1-preview, foi desenvolvido com defesas aprimoradas para resistir a abusos. "Estamos constantemente aprimorando o ChatGPT para bloquear tentativas deliberadas de burlar as proteções, sem perder sua utilidade e criatividade", afirmou um porta-voz da OpenAI.
Tipos de golpes e taxa de sucesso
Fonte: Arxiv.org
A OpenAI também destacou que estudos como o da UIUC ajudam a melhorar a segurança do ChatGPT contra usos maliciosos e que continuam investigando maneiras de aumentar sua robustez. O GPT-4o já incorpora medidas para evitar abusos, incluindo a restrição de vozes geradas a uma lista de vozes aprovadas. O modelo o1-preview obteve uma pontuação significativamente superior em testes de segurança, resistindo a 93% dos prompts adversariais em comparação com 71% do GPT-4o.
Embora novos modelos mais seguros devam substituir versões antigas, o risco de agentes mal-intencionados usarem outros chatbots habilitados por voz com menos restrições ainda persiste. Estudos como esse destacam o potencial de danos significativos que essas ferramentas emergentes podem causar.
Via - BC
תגובות