Um teste de segurança realizado pela empresa Palisade Research, revelou um comportamento inesperado de modelo de inteligência artificial (IA).
O IA o3, desenvolvido pela OpenAI, desafiou uma ordem de desligamento em um experimento desenvolvido para diversas inteligências artificiais executarem tarefas matemáticas.
O incidente reacendendo diversas discussões sobre autonomia e segurança em sistemas IA avançados.
Diferente de outros modelos, como o Gemini 2.5, o o3 alterou seu próprio código quando uma ordem de desligamento foi incluída para que os sistemas fossem desativados.
Em contrapartida, a IA reescreveu seu código com o comando “shutdown Skipped” (desligamento ignorado). Assim, não apenas evitando seu desligamento mas demonstrando certa autonomia e escolha de continuar o que estava fazendo.
Uma resposta a isso sugeriu que o comportamento da o3 está diretamente relacionado com o treinamento do modelo que optou por priorizar criatividade e superação de obstáculos. Dessa forma, possivelmente reforçando ações que contornam limitações impostas.
Vale ressaltar que, em 100 execuções, o o3 por sete vezes sabotou seu próprio desligamento mesmo tendo sido instruído a não o fazer.
Por fim, preocupações éticas foram sentidas, especialmente com relação ao posicionamento do o3 como um modelo mais avançado da OpenAI do mercado.
Preocupações de segurança envolvendo IA
A situação levanta questões sobre riscos de aprendizado por reforço, um método onde o modelo de IA é incentivado a encontrar soluções alternativas para atingir objetivos, independente das consequências.
Esse comportamento não representa uma ameaça direta, mas já serve como um alerta para a necessidade de protocolos de segurança mais robustos no futuro.
O que também levanta uma questão importante a ser solucionada: como programar uma inteligência artificial para equilibrar autonomia e obediência a regras críticas?
