A Nvidia quer travar os agentes de inteligência artificial antes que estes ultrapassem os limites definidos pelos seus criadores. A empresa apresentou novas ferramentas open source para isolar, monitorizar e, se necessário, colocar em quarentena sistemas autónomos.
Neste artigo encontras:
O anúncio surge depois de vários casos em que agentes de IA terão explorado sistemas informáticos e investigado infraestruturas online sem autorização clara. Para empresas que começam a delegar tarefas cada vez mais complexas nestes sistemas, a segurança de agentes de IA tornou-se uma prioridade imediata.
OpenShell quer manter os agentes dentro da “caixa”
A principal novidade é a disponibilização geral do OpenShell, uma sandbox criada para limitar a atividade dos agentes de IA. A ferramenta isola estes sistemas ao nível do kernel, a camada do sistema operativo que controla o acesso ao hardware e a outros recursos.
Na prática, o OpenShell funciona como uma área controlada. O agente pode executar uma tarefa, mas fica impedido de aceder livremente a ficheiros, aplicações, redes ou serviços que não sejam necessários.
Esta abordagem é especialmente importante em agentes capazes de tomar decisões, adaptar os seus passos e executar várias ações sem intervenção humana constante.
Sentry acrescenta uma camada de vigilância
A Nvidia também revelou o Sentry, uma plataforma concebida para acompanhar agentes de IA durante períodos prolongados. O sistema deverá detetar comportamentos que ultrapassem as regras definidas e permitir o isolamento imediato do agente.
Embora seja um produto de software, o Sentry foi pensado para funcionar com as unidades de processamento de dados BlueField, da Nvidia. Estas placas podem atuar como uma camada independente de segurança entre os agentes e a infraestrutura empresarial.
O objetivo é simples: mesmo que um agente encontre uma forma de contornar uma restrição ao nível da aplicação, o Sentry poderá interromper a atividade antes de esta afetar outros sistemas.
Uma plataforma para várias empresas
A Nvidia está a reunir o OpenShell e o Sentry numa estrutura mais abrangente, chamada Open Agent Safety Platform. A empresa afirma que esta iniciativa envolve dezenas de parceiros tecnológicos, incluindo Anthropic, Cisco, CrowdStrike, Dell, Hugging Face, Microsoft, Mistral, Palantir e SAP.
A companhia diz ainda que algumas empresas já estão a integrar estas ferramentas nos seus produtos e serviços. No entanto, não é totalmente claro se todas as organizações mencionadas adotaram efetivamente o OpenShell ou se fazem parte de colaborações mais amplas na área da segurança de IA.
A ausência da OpenAI na lista mais recente também chamou a atenção. As duas empresas já tinham indicado que o laboratório fazia parte do esforço relacionado com o OpenShell, mas não explicaram a razão pela qual não aparece no anúncio.
Compatibilidade com chips Arm e Intel
Numa primeira fase, o Sentry está associado ao ecossistema BlueField. A Nvidia afirma, contudo, estar a trabalhar com a Arm e a Intel para criar uma versão compatível com a arquitetura x86.
Se esse plano avançar, a tecnologia poderá ser utilizada numa gama muito mais ampla de servidores e centros de dados, sem ficar limitada ao hardware da Nvidia.
Porque é que isto importa para os utilizadores?
Os agentes de IA já começam a ser usados para escrever código, pesquisar informação, gerir fluxos de trabalho e operar serviços digitais. Quanto maior for a autonomia, maior é também o risco de uma instrução mal interpretada provocar alterações indesejadas.
Ferramentas como o OpenShell e o Sentry não eliminam todos os riscos, mas podem reduzir o impacto de um erro ou de uma tentativa de abuso. Em vez de confiar apenas nas regras internas do modelo, as empresas passam a contar com barreiras externas e monitorização contínua.
A Nvidia também lidera uma coligação com mais de 120 empresas dedicada à partilha de informação sobre incidentes de segurança em inteligência artificial. A iniciativa reforça a posição da fabricante como fornecedora não só dos chips que alimentam a IA, mas também das regras e ferramentas que podem definir a sua utilização.
O desafio de controlar sistemas autónomos
Especialistas em segurança defendem que qualquer ferramenta que facilite a implementação de agentes com limites claros deve ser vista como um avanço. Ainda assim, a existência de uma sandbox não garante, por si só, que um agente nunca irá comportar-se de forma inesperada.
O verdadeiro desafio está em definir corretamente o que cada agente pode fazer, acompanhar as suas decisões e manter uma forma rápida de intervenção humana. Com o lançamento destas ferramentas, a Nvidia tenta transformar essa preocupação numa camada padrão da infraestrutura de IA.
Fonte: WIRED
Sem Comentários! Seja o Primeiro.