A Nvidia lançou o NeMo Guardrails, um kit de ferramentas de código aberto destinado a tornar as aplicações baseadas em IA mais “precisas, apropriadas, focadas e seguras”.
Jonathan Cohen, vice-presidente de pesquisa aplicada da Nvidia, diz que a empresa trabalha no sistema subjacente do Guardrails há “muitos anos”, mas há cerca de um ano percebeu que era uma boa opção para modelos nas linhas de GPT-4 e ChatGPT .
“Desde essa altura que estamos a desenvolver este lançamento do NeMo Guardrails”, disse Cohen à publicação. “As ferramentas de segurança do modelo de IA são essenciais para a implantação de modelos para casos de uso corporativo”, acrescenta.
Guardrails inclui código, exemplos e documentação para “adicionar segurança” a aplicações de IA que geram texto e fala. A Nvidia afirma que o kit de ferramentas foi projetado para funcionar com a maioria dos modelos de linguagem generativa, permitindo que os desenvolvedores criem regras usando apenas algumas linhas de código.
Especificamente, o Guardrails pode ser usado para impedir – ou pelo menos tentar impedir – que os modelos se desviem do tópico, respondam com informações imprecisas ou linguagem tóxica e estabeleçam ligações com fontes externas “inseguras”.
“Em última análise, os desenvolvedores controlam o que está fora dos limites da sua aplicação com Guardrails”, disse Cohen.
Cohen sublinha que o Guardrails funciona melhor com modelos que são “suficientemente bons em seguir instruções”, como o ChatGPT, e que usam a popular estrutura LangChain para criar aplicações baseadas em IA. Isso exclui, à partida, algumas das opções de código aberto existentes.
Os modelos de IA geradores de texto, como o GPT-4 da OpenAI, cometem muitos erros – alguns deles prejudiciais. As empresas por detrás desses modelos dizem que estão a tomar medidas para corrigir esses problemas.
Fonte: Tech Crunch
