Ein Assistent, der einen Entwurf schreibt, hat andere Auswirkungen als ein Agent, der Änderungen in einer Geschäftsanwendung vornimmt. Im zweiten Fall erhält die KI Werkzeuge und kann Aktionen auslösen. Das kann wiederkehrende Handarbeit verringern, sofern die Berechtigungen des Systems genau festgelegt sind.
Mit einer begrenzten Aktion beginnen
Betrachten wir ein fiktives Beispiel: Nach einer Besprechung soll ein Eintrag zur Nachverfolgung vorbereitet werden. Das System kann Entscheidungen herausarbeiten, Aufgaben vorschlagen und eine Vorschau anzeigen. Anschließend prüft eine Person das Ergebnis, bevor es im Projektmanagement-Werkzeug angelegt wird. So lässt sich die Qualität der Vorbereitung beurteilen, während ein klarer Freigabeschritt erhalten bleibt.
Wer direkt mit dem Versand von Nachrichten, der Änderung mehrerer Datensätze oder einer Kette unsichtbarer Aktionen beginnt, erschwert die Fehleranalyse. Für eine erste Automatisierung sind eine eindeutige Eingabe, eine begrenzte Aktion und ein überprüfbares Ergebnis hilfreich.
Nur die benötigten Werkzeuge bereitstellen
Die Bereitstellung eines Konnektors sollte nicht den Zugriff auf sämtliche Funktionen eines Dienstes eröffnen. Ein Dokument lesen, einen Entwurf anlegen und einen Ordner löschen sind unterschiedliche Berechtigungen. Der Zugriff muss zur Rolle des Nutzers und zum Aufgabenbereich des Agenten passen.
Zugangsdaten bleiben auf dem Server. Das Modell kann Parameter vorschlagen, doch der Server muss sie prüfen: erlaubtes Ziel, Inhaltstyp, Größe, Eigentümerschaft der Ressource und Berechtigung für den Vorgang. Eine Textanweisung, das Modell solle vorsichtig sein, ist keine Zugriffskontrolle.
Irreführende Inhalte berücksichtigen
OWASP beschreibt indirekte Injection als bösartige Anweisungen in Inhalten, die das Modell verarbeitet, etwa einer Webseite oder Nachricht. Bei einem Agenten können die Folgen über eine falsche Antwort hinausgehen, wenn diese Inhalte eine Aktion beeinflussen.
Behandeln Sie Werkzeugergebnisse und Dokumente als zu prüfende Daten. Begrenzen Sie die verfügbaren Aktionen unabhängig vom empfangenen Text. Zeigen Sie dem Nutzer bei sensiblen Vorgängen das Ziel, die betroffenen Daten und die erwartete Wirkung, bevor Sie eine Freigabe anfordern.
Fehler behandeln, ohne Aktionen zu vervielfachen
Ein externer Dienst kann eine Antwort schuldig bleiben, obwohl die Aktion abgeschlossen wurde. Eine automatische Wiederholung kann dann ein Duplikat erzeugen. Unterscheiden Sie einen bestätigten Fehler von einem ungewissen Ergebnis. Verwenden Sie, sofern der Dienst dies unterstützt, eine gleichbleibende Kennung für denselben Vorgang.
Die Überwachung sollte auch Versuche, Laufzeit und Ausgaben begrenzen. Wenn der Agent in einer Schleife hängen bleibt oder ein Konnektor ausfällt, muss der Nutzer den Aufgabenstatus sehen und erkennen können, wo ein Eingriff nötig ist. Ein hilfreicher Verlauf dokumentiert Vorgänge und Ergebnisse, ohne unnötige sensible Informationen aufzubewahren.
Den gesamten Ablauf bewerten
Das NIST-Profil für generative KI ermutigt Organisationen, Risiken über den gesamten Lebenszyklus zu untersuchen. Bei einem Agenten für Geschäftsanwendungen umfasst unsere praktische Prüfliste die Ergebnisqualität, zurückgewiesene Aktionen, Dienstausfälle, den Entzug von Zugriffsrechten und die Wiederherstellung.
Messen Sie auch den Zeitaufwand für die Prüfung. Automatisierung ist nur dann sinnvoll, wenn der vollständige Ablauf für die ausgewählte Aufgabe einfacher oder verlässlicher wird. Die Lösungen des Studios und unser Leitfaden zur Projekteingrenzung helfen, dieses Gespräch anhand eines echten Anwendungsfalls vorzubereiten, bevor Konnektoren hinzukommen.
