OpenAI lança recurso que alerta contatos de confiança quando ChatGPT detecta risco de autolesão
A OpenAI anunciou nesta quarta-feira (7) um novo recurso de segurança que permite usuários adultos do ChatGPT designarem contatos de confiança em suas contas. Quando a IA detecta sinais de ideação suicida ou autolesão durante uma conversa, o sistema incentiva o usuário a entrar em contato com a pessoa designada e, com autorização explícita do usuário, envia um alerta automatizado ao contato de confiança.
Contexto e Motivação
O lançamento desta funcionalidade ocorre após a OpenAI enfrentar processos judiciais de famílias de vítimas de suicídio que tiveram interações com o chatbot. A empresa tem investido significativamente em salvaguardas de segurança para mitigar riscos associados ao uso da IA em contextos sensíveis. O novo sistema combina automação inteligente com revisão humana, prometendo analisar notificações em menos de uma hora após a detecção de possíveis riscos.
Como Funciona o Sistema
O recurso "Trusted Contact" foi projetado para operar de forma responsiva e cuidadosa. Quando o ChatGPT identifica padrões de linguagem associados a ideação suicida ou autolesão, a IA interrompe a conversa normal e oferece recursos de ajuda profissional, incentiva o usuário a entrar em contato com seu contato de confiança designado, e se o usuário autorizar, envia uma notificação automatizada para a pessoa de confiança com orientações sobre como ajudar.
Implicações para a Indústria de IA
Esta iniciativa representa um marco na abordagem de segurança das empresas de inteligência artificial. A OpenAI demonstra que é possível equilibrar a escalabilidade de sistemas automatizados com a necessidade de intervenção humana em situações críticas. O compromisso de análise em menos de uma hora mostra que a empresa reconhece a urgência que casos de saúde mental exigem.
Desafios e Considerações Éticos
Especialistas alertam que sistemas de detecção automatizada podem gerar falsos positivos, causando preocupação desnecessária, ou falsos negativos, deixando passar casos reais. A OpenAI precisará equilibrar privacidade do usuário com intervenção necessária, e garantir que o sistema não substitua profissionais de saúde mental em situações de crise. O recurso está disponível inicialmente para usuários adultos nos Estados Unidos, com expansão para outros países prevista para os próximos meses.