O botão "Concordo": por que ele pode ser a IA mais perigosa para as empresas?

Às 2h da manhã, um agente automatizado de resolução de problemas detecta uma falha na rede, rastreia a origem do problema até uma política mal configurada, verifica por meio de uma estrutura personalizada se a correção proposta funciona dentro dos limites da política definida e, em seguida, corrige o problema. A rede se estabiliza e ninguém é notificado.

Pela manhã, o humano revisa as informações diárias do agente: um resumo de todas as alterações implementadas, com links para registros, trilhas de auditoria, lógica e causas raiz. Ele confirma se tudo foi resolvido corretamente e então prossegue. Este é o modelo "humano no circuito".

Em outra organização, às 4h da manhã, um agente de processamento improvisado e desenvolvido internamente detecta um problema de rede, rastreia a origem do problema até uma política mal configurada e o corrige. A rede se estabiliza e ninguém é notificado. Na manhã seguinte, um funcionário revisa os registros, presume que o problema foi resolvido e segue em frente.

Onde reside a diferença?

A diferença reside no fato de que, no cenário de autoconstrução, os registros contam apenas parte da história. Eles não mostram que o agente fez outras três alterações para chegar a essa solução, e que essas alterações foram mais extensas do que o planejado inicialmente. Além disso, as decisões por trás dessas alterações não foram relatadas porque o agente não era obrigado a fazê-lo dentro de suas limitações. Essa falta de transparência do sistema está no cerne do problema.

É assim que pode ser a transição para um sistema "controlado pelo humano" sem os devidos mecanismos de controle. Não há uma transferência drástica de tarefas, apenas uma série de pequenas delegações razoáveis ​​que gradualmente se acumulam em algo sobre o qual ninguém concordou explicitamente. Isso ressalta a importância do controle humano sobre o futuro da inteligência artificial.

Isso está acontecendo mais rápido do que a maioria dos líderes percebe. De acordo com pesquisas recentes, 57% dos líderes de TI esperam remover os humanos do processo de controle em um ano ou menos, e 79% já estão tratando agentes de IA como “usuários” que exigem seus próprios controles de gerenciamento de identidade e governança.

A transição para a IA proxy está acontecendo em um ritmo mais acelerado do que a maioria das organizações está preparada, tanto em termos de governança quanto na capacidade de avaliar sistemas autônomos.

São os botões "Concordo".

A solução para a IA autônoma sempre pareceu incrivelmente simples: manter um elemento humano no controle. Alguém revisa o resultado, clica em um botão de "aprovação" e mantém a responsabilidade. Mas a realidade não é tão simples assim. Revisar cada ação não cria automaticamente responsabilidade e impede que as organizações aproveitem todos os benefícios da autonomia.

Em vez de analisar cada procedimento individualmente, os humanos devem se concentrar em avaliar os resultados, garantindo que o sistema esteja funcionando dentro dos limites previstos e fornecendo feedback que melhore seu desempenho ao longo do tempo.

A aprovação pode se tornar um ritual sem sentido. À medida que os sistemas comprovam sua confiabilidade e o número de alertas aumenta, os humanos às vezes começam a tratar a intervenção como algo frequentemente desnecessário.

A aprovação pode se tornar um mero clique em vez de uma escolha bem ponderada. E quando algo dá errado (por exemplo, uma política mal configurada ou um processamento automatizado que leva à interrupção do serviço), torna-se difícil responder à pergunta de quem é o responsável.

Isso também reforça uma mudança mais ampla: uma das capacidades humanas mais importantes passa a ser o pensamento crítico e a formulação de hipóteses, em vez da mera execução de tarefas.

Outra coisa também está acontecendo. Os seres humanos estão passando da fase de execução para a fase de leitura antes da aprovação – uma mudança fundamental no trabalho diário da maioria de nós.

Além disso, atribuição não é o mesmo que fonte. Um registro que documenta o que um agente de IA fez quase nada diz sobre o porquê, ou o que influenciou essa decisão. E quando as coisas dão errado, essa é exatamente a informação que você precisa saber.

Identidades não humanas e o novo cenário de redes

Quando agentes de IA atuam em sua rede — consultando sistemas, fazendo alterações de configuração ou roteando tráfego — eles são considerados usuários reais. Assim como os operadores humanos, eles precisam de credenciais, políticas, controles de segurança, interpretabilidade e registros de auditoria. Essa necessidade de transparência e responsabilidade é paralela aos esforços para garantir a transparência em data centers de IA.

A maioria das organizações ainda não acompanhou essa evolução. Os sistemas de identidade são projetados para pessoas, e aplicar agentes de IA a eles como uma solução posterior cria exatamente o tipo de acesso furtivo que as equipes de segurança passam a vida tentando eliminar.

Quase 80% dos líderes que já utilizam agentes de IA como identidades gerenciadas estão à frente da curva. Os demais estão acumulando riscos que não conseguem avaliar até que ocorra um incidente de segurança.

Para que isso seja alcançado adequadamente, cada agente deve ser tratado como uma entidade principal com privilégios definidos, acesso com tempo limitado, um caminho claro para revogação e um registro completo; não apenas do que fez, mas também do que lhe foi permitido fazer e por quê.

A independência não é dada, é conquistada.

As equipes de rede e cibersegurança já entendem como aplicar esse princípio. Toda organização possui estruturas de controle de acesso que definem o que os humanos podem acessar e quando. Um engenheiro júnior não recebe acesso total aos sistemas de produção no primeiro dia; ele o conquista gradualmente. Essa mesma lógica deve ser aplicada aos agentes de IA.

Ainda não chegamos a esse ponto. Muitas vezes, a autonomia é tratada como uma questão de tudo ou nada, e esse não é o modelo correto. A confiança não funciona dessa forma com humanos, e não deveria funcionar assim com IA. Os agentes de IA devem começar propondo soluções e, em seguida, demonstrar sua competência dentro de limites claros e definidos antes que sua autoridade seja expandida. E é fundamental garantir que cada decisão deixe um rastro que explique não apenas o que aconteceu, mas também os motivos por trás disso.

Com o aumento do uso de IA autônoma, as organizações precisarão equilibrar a supervisão humana com uma governança sistemática. Os humanos continuarão responsáveis ​​por revisar não apenas os resultados da IA, mas também, quando necessário, as ações que ela executa e o raciocínio por trás delas.

No entanto, à medida que a escala e a complexidade das decisões autônomas aumentam, essa supervisão deve ser complementada por uma infraestrutura que integre identidade, aplicação de políticas, recursos de monitoramento e responsabilização. Esses controles, em conjunto, ajudam a garantir que as ações da IA ​​permaneçam transparentes, rastreáveis ​​e alinhadas aos objetivos organizacionais.

Construindo sistemas multiagentes que resistam à pressão.

À medida que esses sistemas se tornam mais poderosos, as organizações estão migrando cada vez mais para arquiteturas multiagentes. Nessas arquiteturas, cada agente especializado lida com uma parte do fluxo de trabalho e passa o contexto para o próximo agente. É aí que reside a complexidade.

O comportamento de um único agente pode ser rastreado se ele cometer um erro. No entanto, uma cadeia de agentes, onde cada um age com base nas ações do anterior, é muito mais difícil de desvendar quando ocorre um erro, a menos que a estrutura e a governança adequadas estejam em vigor. É preciso saber o que cada agente sabia, não apenas o que ele fez.

Conclua as tarefas básicas

Duas organizações utilizam o mesmo agente de rede com inteligência artificial. Uma delas realizou as tarefas básicas e pouco atraentes: configurar permissões de acesso rigorosas, controles de identidade adequados e registros de auditoria que fornecem respostas claras quando necessário. A outra não.

Você só vai perceber a diferença quando algo der errado.