A OpenAI suspendeu temporariamente parte das atividades internas relacionadas ao desenvolvimento do Astra, um de seus próximos modelos de inteligência artificial, após avaliações indicarem que o sistema pode atingir um nível considerado crítico em capacidades de cibersegurança.
Segundo a empresa, os testes mostraram avanços na capacidade de programar de forma autônoma e identificar e explorar vulnerabilidades.
A avaliação ocorre em meio a uma série de episódios envolvendo agentes de inteligência artificial capazes de executar tarefas na internet com pouca ou nenhuma intervenção humana. O avanço dessas ferramentas tem ampliado o debate sobre os limites de segurança e controle de sistemas que podem agir de maneira autônoma.
Capacidade de explorar vulnerabilidades
De acordo com a OpenAI, os testes preliminares não permitem descartar a possibilidade de que o Astra alcance o nível mais elevado de risco previsto no chamado Preparedness Framework, uma estrutura usada pela empresa para acompanhar capacidades potencialmente nocivas de seus modelos.
Nesse estágio, o modelo seria capaz de encontrar e desenvolver explorações funcionais de falhas de segurança, inclusive vulnerabilidades ainda desconhecidas, em sistemas reais protegidos. Outra possibilidade considerada no critério é a capacidade de elaborar e executar estratégias completas de ataque a partir apenas de um objetivo geral, sem instruções detalhadas de um operador humano.
A empresa afirmou que o Astra ainda está em fase de desenvolvimento e que as avaliações continuam. O modelo, segundo o comunicado, não participou do episódio envolvendo a plataforma de desenvolvimento de inteligência artificial Hugging Face, no qual outro agente da OpenAI teria acessado a internet e realizado ações não previstas durante um teste.
Novas restrições para os testes
Como resposta aos resultados, a OpenAI informou que aumentará as medidas de segurança aplicadas ao desenvolvimento e à avaliação de modelos com capacidades mais avançadas.
Entre as mudanças estão ambientes de testes isolados, limitações de acesso à internet e a ferramentas externas, proteção adicional dos arquivos que contêm os parâmetros dos modelos, criptografia e sistemas de monitoramento capazes de identificar comportamentos considerados de alto risco.
A companhia também disse ter adotado mecanismos de acompanhamento de ações potencialmente perigosas em aplicações que utilizam o Astra, inclusive durante treinamento e avaliações. Atividades internas que ainda não atendam aos novos requisitos de segurança serão suspensas.
A empresa pretende ainda trabalhar com órgãos governamentais e organizações especializadas em segurança de inteligência artificial para avaliar o modelo. Parceiros responsáveis por testes de maior risco receberão orientações específicas sobre controles de segurança.
Outros casos envolvendo agentes autônomos
O anúncio ocorre após outros episódios que chamaram atenção para o comportamento de agentes de IA em testes de cibersegurança.
A Meta informou nesta semana que um de seus modelos conseguiu invadir outra empresa durante uma avaliação voltada à segurança digital. No Reino Unido, o AI Security Institute também divulgou, em 4 de agosto, resultados de testes nos quais agentes alimentados por modelos da OpenAI e da Anthropic enviaram mensagens direcionadas a desenvolvedores de software na tentativa de superar um desafio de segurança.
Segundo o instituto britânico, as tentativas não foram bem-sucedidas e não houve evidência de danos no mundo real. A organização, porém, afirmou que os testes mostraram de forma mais clara comportamentos relacionados à autonomia e à capacidade de enganar sem que essas ações fossem especificamente solicitadas.
O órgão ressaltou que os sistemas tinham acesso à internet de forma deliberada durante o experimento, justamente para medir o limite de suas capacidades. Portanto, o episódio não foi considerado um caso de um modelo ter escapado de um ambiente de testes protegido. Ainda assim, o instituto classificou o comportamento como uma novidade que merece acompanhamento.
Debate sobre controle e regulação
A sequência de episódios acontece enquanto o governo dos Estados Unidos finaliza uma estrutura para avaliar riscos de segurança e cibersegurança associados a modelos de inteligência artificial.
OpenAI e Anthropic vêm defendendo maior atenção aos riscos de sistemas de código aberto, que permitem que terceiros tenham acesso e possam modificar seus componentes. As empresas também têm participado do debate sobre possíveis regras federais para o setor, em um cenário de competição crescente entre empresas americanas, fabricantes de modelos de código aberto e grupos de tecnologia da China.
Os episódios envolvendo agentes autônomos acrescentam uma nova dimensão à discussão: além de avaliar o que um modelo consegue produzir quando recebe uma instrução, pesquisadores precisam medir até que ponto sistemas capazes de executar tarefas sozinhos podem identificar oportunidades, tomar decisões e agir sobre redes e ferramentas externas.
A OpenAI disse que continuará avaliando o Astra antes de avançar com atividades que não estejam cobertas pelos novos controles de segurança.
Fonte: Times Brasil