Empresas avançam com agentes de IA sem governança, alerta especialista

Grandes corporações têm colocado agentes de IA em operação sem governança interna, limites claros de atuação ou definição sobre quem responde pelas ações desses sistemas. A avaliação é de Carlos Pisani, CEO da ArcH IA e especialista em metodologia de construção de software com IA.

O tema ganhou repercussão internacional com a petição “Pacing the Frontier”, divulgada em 28 de julho e assinada por mais de 1.100 funcionários de OpenAI, Anthropic, Google DeepMind e Meta, entre eles o CEO da Anthropic, Dario Amodei. O documento pede apoio do governo dos Estados Unidos a um esforço internacional para desenvolver ferramentas técnicas e de governança capazes de desacelerar o avanço da IA, caso a tecnologia ultrapasse a capacidade humana de supervisão, sem pedir a interrupção de projetos em curso.

“As empresas líderes em IA no mundo acreditam que podem estar perto de automatizar a pesquisa em IA. É difícil prever exatamente o quanto isto vai acelerar o progresso da IA, mas há um risco real de que a capacidade de desenvolvimento avance além da nossa habilidade de compreender ou controlar os sistemas resultantes”, diz a petição.

Governança de agentes de IA repete problema da fronteira tecnológica

Para Pisani, a carta expõe em escala global o mesmo problema que ele observa dentro das empresas que adotam agentes de IA sem estrutura para acompanhá-los. “Se até quem cria a tecnologia está pedindo um freio, cabe perguntar por que tantas empresas continuam colocando agentes de IA em operação sem nenhuma camada de governança interna”, afirma. “Trata-se de colocar um agente para operar sem definir limites, sem estabelecer mecanismos de auditoria e sem determinar quem será responsável por suas ações.”

Segundo o executivo, quanto maior o grau de autonomia atribuído a esses sistemas, maior precisa ser a capacidade de acompanhar suas operações e identificar desvios. “A empresa precisa saber o que o agente pode fazer, o que ele não pode fazer e quem responde quando alguma coisa sai do previsto. Sem isso, a autonomia deixa de ser um ganho operacional e passa a criar um novo ponto de vulnerabilidade”, explica.

Pisani também associa a petição ao cenário econômico do setor de IA, marcado por escassez de infraestrutura e por empresas cujo faturamento ainda não cobre o volume investido. “A conta ainda não fecha. O que está por trás dessa petição não é só uma preocupação com segurança. É também uma forma de ganhar tempo e dividir a responsabilidade pelos riscos, num momento em que a infraestrutura não acompanha o ritmo de expansão nem os investimentos se pagam”, diz.

Para o executivo, esse cenário reforça a necessidade de empresas brasileiras tratarem a governança de agentes de IA como parte do processo de adoção, não como etapa posterior. “Quem espera um marco regulatório para começar a pensar em governança interna vai chegar atrasado”, afirma.

Leia também:

• IA com governança: como transformá-la em vantagem sem risco
• Empresas necessitam de políticas internas de inteligência artificial
• A era agêntica no varejo: dados, governança e retorno financeiro como critérios de adoção

Imagem: Magnific