Ein KI-System kann ein herunterladbares Modell verwenden, auf einem gemieteten Server laufen und für einen Teil der Verarbeitung einen externen Dienst aufrufen. Es ohne Erläuterung dieses Weges als „privat“ zu bezeichnen, sagt wenig aus. Wer eine Architektur auswählt, muss das gesamte System betrachten.
Komponenten und ihre Lizenzen unterscheiden
Die Lizenz der Software, die ein Modell ausführt, ist nicht zwangsläufig die Lizenz des Modells. Für Gewichte, Daten, Erweiterungen und ein gehostetes Angebot können unterschiedliche Bedingungen gelten. Lesen Sie vor einer kommerziellen Nutzung die Lizenzen der tatsächlich ausgewählten Versionen.
Die Open Source Initiative definiert Open-Source-KI anhand der Freiheiten zur Nutzung, Untersuchung, Veränderung und Weitergabe sowie der Elemente, die zur Ausübung dieser Freiheiten erforderlich sind. Die bloße Möglichkeit, Gewichte herunterzuladen, beschreibt nicht sämtliche Rechte oder alle verfügbaren Informationen. Wir bevorzugen eine genaue Bestandsaufnahme gegenüber einem pauschalen Etikett für das gesamte System.
Die Datenflüsse aufzeichnen
Verfolgen Sie eine Anfrage vom Browser bis zum Ergebnis. Wo werden Dateien gespeichert? Welcher Dienst wandelt Dokumente in Text um? Wo entsteht der Index? Welches Modell erhält die Textpassagen? Welche Protokolle bewahren die Inhalte auf und wie lange?
Ein solches Schema zeigt Abhängigkeiten, die mitunter übersehen werden: Texterkennung, Übersetzung, Überwachung, Sicherung oder Authentifizierung. Der lokale Betrieb des Modells stellt nicht sicher, dass alle diese Dienste in derselben Umgebung bleiben. Vertrag und Konfiguration sollten dem tatsächlich eingesetzten Verarbeitungsweg entsprechen.
Die Infrastruktur nach der Nutzung dimensionieren
Die benötigte Hardware hängt vom Modell, von gleichzeitigen Anfragen, der Dokumentenlänge und der akzeptablen Antwortzeit ab. Eine Demonstration für eine einzelne Person misst nicht das Nutzungserlebnis mehrerer Teams zu Spitzenzeiten.
Testen Sie vor einer Investition in einen Server eine repräsentative Last. Messen Sie Speicherverbrauch, Wartezeit und Verhalten bei Überlastung des Dienstes. Berücksichtigen Sie Aktualisierungen, Speicherplatz, Sicherungen und Überwachung in den Kosten. Auch eigene Hardware muss betrieben werden.
Zugriffe in der Anwendung durchsetzen
Das Modell ist keine Instanz für Zugriffsentscheidungen. Die Anwendung muss Identität, Rollen und Dokumentenberechtigungen prüfen, bevor sie Daten überträgt oder eine Handlung ausführt. Der Leitfaden der ANSSI behandelt die Sicherheit einer generativen KI-Architektur als Ganzes und geht über die reine Modellauswahl hinaus.
Für ein Projekt empfehlen wir, die Grenzen zu testen: zwei Personen aus unterschiedlichen Abteilungen, ein gesperrtes Konto, eine gelöschte Quelle und ein nicht verfügbarer Konnektor. Diese Szenarien liefern nützlichere Nachweise als eine bloße Aussage, dass Daten geschützt seien.
Den Ausstieg von Anfang an vorbereiten
Portabilität muss praktisch überprüft werden. Lassen sich benötigte Dokumente, Konfigurationen und aufzubewahrende Daten exportieren? Sind die Formate ohne den ursprünglichen Anbieter lesbar? Wer verfügt über die Zugangsdaten für den Betrieb? Wie lassen sich nicht mehr benötigte Kopien entfernen?
Eine gute Dokumentation ermöglicht einem anderen Team, Komponenten und Routineabläufe zu verstehen. Offene technische Entscheidungen können diese Unabhängigkeit unterstützen. Sie ersetzen jedoch weder Fachkenntnisse noch einen Wiederanlaufplan. Unser Ökosystem stellt Werkzeuge vor, die anhand dieser Kriterien zu bewerten sind. Unsere Preisorientierung für KI-Infrastruktur unterscheidet zwischen dem ersten Projekt und den Betriebskosten.
