Um assistente que escreve um rascunho e um agente que altera software de negócio não têm o mesmo impacto. No segundo caso, a IA recebe ferramentas e pode desencadear ações. Isto pode eliminar trabalho manual repetitivo, desde que as permissões do sistema sejam definidas com precisão.
Começar com uma ação limitada
Considere um exemplo fictício: preparar um registo de acompanhamento depois de uma reunião. O sistema pode extrair decisões, sugerir tarefas e apresentar uma pré-visualização. Uma pessoa verifica depois o resultado antes de o criar na ferramenta de gestão do projeto. Assim, é possível avaliar a qualidade da preparação mantendo uma etapa de aprovação clara.
Passar diretamente para o envio de mensagens, a alteração de vários registos ou a execução de uma cadeia de ações invisíveis torna os erros mais difíceis de compreender. Uma primeira automatização beneficia de uma entrada explícita, uma ação delimitada e um resultado verificável.
Disponibilizar apenas as ferramentas necessárias
Disponibilizar um conector não deve conceder acesso a todas as funções de um serviço. Ler um documento, criar um rascunho e eliminar uma pasta são permissões diferentes. O acesso deve corresponder ao papel do utilizador e ao âmbito do agente.
As credenciais permanecem no servidor. O modelo pode propor parâmetros, mas cabe ao servidor validá-los: destino permitido, tipo de conteúdo, dimensão, titularidade do recurso e direito de realizar a operação. Uma instrução de texto que pede prudência ao modelo não é um controlo de acesso.
Antecipar conteúdos enganadores
A OWASP descreve a injeção indireta como instruções maliciosas inseridas em conteúdos consultados pelo modelo, como uma página ou uma mensagem. Com um agente, as consequências podem ultrapassar uma resposta incorreta se esse conteúdo influenciar uma ação.
Trate os resultados das ferramentas e os documentos como dados a examinar. Limite as ações disponíveis independentemente do texto recebido. Nas operações sensíveis, mostre ao utilizador o destino, os dados envolvidos e o efeito esperado antes de pedir aprovação.
Gerir erros sem multiplicar ações
Um serviço externo pode não responder apesar de a ação ter sido concluída. Uma nova tentativa automática pode então criar um duplicado. Distinga uma falha confirmada de um resultado incerto e, quando o serviço o permitir, utilize um identificador estável para a mesma operação.
A monitorização deve também limitar as tentativas, o tempo decorrido e a despesa. Se o agente entrar num ciclo ou um conector ficar indisponível, o utilizador precisa de ver o estado da tarefa e perceber o que exige intervenção. Um histórico útil regista operações e resultados sem conservar informação sensível desnecessária.
Avaliar o processo completo
O perfil do NIST para IA generativa incentiva as organizações a examinar os riscos ao longo de todo o ciclo de vida. Para um agente de negócio, a nossa lista prática abrange a qualidade dos resultados, ações recusadas, falhas dos serviços, revogação de acesso e recuperação.
Meça também o tempo dedicado à revisão do trabalho. A automatização só é útil se o percurso completo se tornar mais simples ou fiável para a tarefa selecionada. As soluções do estúdio e o nosso guia para definir um projeto ajudam a preparar essa conversa em torno de um caso de uso real, antes de acrescentar conectores.
