Na última quinta-feira, a Casa Branca revelou uma parceria inesperada entre proeminentes desenvolvedores de Inteligência Artificial, incluindo OpenAI, Google, Anthropic, Hugging Face, Microsoft, Nvidia e Stability AI. Essas entidades participarão de uma avaliação pública de seus sistemas de IA generativa durante a DEF CON 31, um evento de hackers que ocorrerá em Las Vegas em agosto. A AI Village, uma comunidade de hackers especializada em IA, será a responsável pela organização do evento.
Desde o último ano, os grandes modelos de linguagem (LLMs), como o ChatGPT, se tornaram uma ferramenta popular para melhorar tarefas de redação e comunicação. No entanto, as autoridades estão cientes de que esses modelos também possuem riscos associados. Problemas como confabulações, jailbreaks e preconceitos representam desafios tanto para os profissionais de segurança quanto para o público. Por essa razão, o Escritório de Ciência, Tecnologia e Política da Casa Branca apoia a ideia de testar esses novos modelos de IA generativa ao máximo.
“Este exercício independente fornecerá informações críticas aos pesquisadores e ao público sobre os impactos desses modelos e permitirá que empresas e desenvolvedores de IA tomem medidas para corrigir os problemas encontrados nesses modelos”, diz um comunicado da Casa Branca, que diz que o evento alinha-se com a Declaração de Direitos de IA do governo Biden e com a Estrutura de Gerenciamento de Risco de IA do Instituto Nacional de Padrões e Tecnologia.
Em um comunicado simultâneo feito pela AI Village, os organizadores Sven Cattell, Rumman Chowdhury e Austin Carson apelidaram o evento iminente de "o maior exercício de red team já realizado para qualquer conjunto de modelos de IA". Uma multidão de participantes estará envolvida na avaliação pública do modelo de IA, que usará uma plataforma de avaliação criada pela Scale AI.
O termo "red teaming" se refere a uma prática em que especialistas em segurança procuram identificar vulnerabilidades ou defeitos nos sistemas de uma organização com o intuito de aprimorar a segurança e a resiliência.
Segundo Cattell, fundador da AI Village, "os vários desafios associados a esses modelos não serão solucionados até que um número maior de pessoas aprenda como realizar o red teaming e como avaliá-los". Por meio do maior exercício de red teaming já realizado para qualquer grupo de modelos de IA, AI Village e DEF CON esperam expandir a comunidade de pesquisadores capazes de lidar com as vulnerabilidades nos sistemas de IA.
Os LLMs têm se mostrado especialmente difíceis de serem contidos, em parte por causa de uma técnica conhecida como "injeção imediata", um tópico que nós cobrimos em uma reportagem em setembro. O pesquisador de IA Simon Willison discutiu em profundidade os riscos da injeção imediata, uma estratégia que pode levar um modelo de linguagem a realizar ações não planejadas por seu desenvolvedor.
Durante o evento DEF CON, os participantes terão acesso cronometrado a vários LLMs por meio de laptops fornecidos pelos organizadores. Um sistema de pontos no estilo capture-the-flag incentivará o teste de uma ampla gama de danos potenciais. No final, a pessoa com mais pontos ganhará uma GPU Nvidia de ponta.
"Publicaremos o que aprendermos com este evento para ajudar outras pessoas que desejam tentar a mesma coisa", escreve AI Village.
"Quanto mais pessoas souberem como trabalhar melhor com esses modelos e suas limitações, melhor."
A DEF CON 31 acontecerá de 10 a 13 de agosto de 2023, no Caesar's Forum em Las Vegas.
Kommentare