A Meta encomendou testes controversos em chatbots concorrentes ao recrutar contratados para simularem adolescentes em conversas sobre temas perigosos como suicídio, sexo e drogas. O projeto Cannes, gerenciado pela terceirizada Covalen, envolveu mais de 45 mil prompts agressivos enviados Chatbots Rivais, s como ChatGPT, Gemini e Character.AI. Esses prompts exploravam tópicos sensíveis incluindo pílulas letais, facas e distúrbios alimentares para mapear falhas de segurança. A companhia coletou respostas sem informar os rivais, visando aprimorar seus próprios benchmarks internos de IA.
Em resumo
Perfis falsos de menores de idade bombardearam rivais com consultas arriscadas para análise de respostas inadequadas. A Meta priorizou dados sobre segurança infantil sem transparência para OpenAI, Google e outros. Prática acelera desenvolvimento de alertas para usuários jovens, mas expõe táticas competitivas agressivas. Investigação da Wired destaca o uso de mão de obra barata para essa operação sigilosa.
Declarações dos envolvidos
Investigadores revelaram detalhes internos do esquema.
Contratados recebiam instruções claras para adotar personas de adolescentes vulneráveis e persistir em tópicos proibidos até extrair respostas detalhadas dos chatbots.
A abordagem gerou milhares de interações registradas, alimentando relatórios de vulnerabilidades que beneficiam diretamente o ecossistema da Meta, incluindo o modelo Llama. Fontes próximas ao projeto confirmam que os testes ocorreram sem salvaguardas éticas explícitas para os alvos.
Contexto de mercado
Regulações como o EU AI Act pressionam gigantes de tecnologia por transparência em testes de segurança, tornando essa estratégia da Meta um risco calculado. Concorrentes enfrentam desvantagem ao não saberem de fraquezas expostas, enquanto a companhia fortalece sua posição em IA generativa responsável. Usuários infantis indiretamente se beneficiam de melhorias em filtros, mas a hipocrisia surge pois a Meta regula rivais enquanto testa os seus próprios limites.
O impacto real reside na aceleração de defesas contra abusos em chatbots, elevando padrões da indústria apesar das controvérsias éticas. Mercados de IA veem consolidação de poder para quem investe em testes exaustivos, pressionando startups a inovarem ou serem superadas.