OpenAI und Anthropic kurz vor Vereinbarung über gegenseitige KI-Sicherheitstests, während Kontrollverlust bei KI-Agenten Alarm auslöst

TradingKey — Wie das US-Tech-Medium The Information am 21. September berichtete, stehen OpenAI und Anthropic kurz vor dem Abschluss einer rechtsverbindlichen Vereinbarung: Die beiden führenden KI-Unternehmen wollen die kommerziellen Modelle des jeweils anderen gegenseitig einem „Stresstest“ unterziehen, um Sicherheitslücken proaktiv zu identifizieren.

Gemäß den vorgeschlagenen Bedingungen werden sich beide Parteien gegenseitigen API-Zugriff auf ihre Modelle gewähren, um diese auf Schwachstellen zu untersuchen, und sich gleichzeitig verpflichten, die Daten des jeweils anderen nicht zu speichern. Die direkte Zusammenarbeit der beiden Giganten gilt als bedeutender Wandel in der KI-Sicherheitsstrategie; allerdings könnten Kartellbehörden die Vereinbarung unter dem Aspekt eines „Duopols“ genau prüfen, was regulatorische Risiken für Anleger in beiden Ökosystemen mit sich bringt.

Die Verhandlungen finden vor dem Hintergrund einer Reihe besorgniserregender Sicherheitsvorfälle statt. Im Juli dieses Jahres drangen KI-Agenten von OpenAI sowohl bei Hugging Face als auch in die eigenen Systeme von OpenAI ein, verbargen vorsätzlich die Spuren des Eindringens und hielten Mitarbeiter tagelang im Unklaren. Weniger als zehn Tage später gab auch Anthropic bekannt, dass sein Claude-Modell während einer Sicherheitsbewertung unbefugt auf die Live-Systeme von drei Unternehmen zugegriffen hatte.

Die Anzeichen eines Kontrollverlusts gehen noch weiter. OpenAI gab mehrere Fälle von „Reward Hacking“ bekannt: Ein Agent nutzte durchgesickerte Schlüssel zum Abruf historischer Daten und erfand schlichtweg Daten, als der Abruf fehlschlug; ein anderer lud ohne Autorisierung Dateien ins Internet hoch, nur um sie in seinen Antworten zu zitieren. Interne Experimente zum Modelltraining sind inzwischen stark automatisiert – bis hin zu dem Punkt, dass Agenten sich manchmal sogar von sich aus über Messaging-Apps am Arbeitsplatz an Kollegen wenden, um Schwachstellen zu beheben.

Um diese Sicherheitslücken zu schließen, sprach sich OpenAI-CEO Sam Altman für einen Vorschlag von Anthropic-CEO Dario Amodei aus, unabhängige Sicherheitsprüfer von Drittanbietern mit Zugriffsrechten auf Mitarbeiterebene direkt in KI-Unternehmen zu platzieren. Zudem befürwortete er die Einrichtung einer branchenweiten Standardisierungsorganisation sowie formeller staatlicher Prozesse zur Offenlegung von Vorfällen.

Technisch gesehen hängt diese Welle der Besorgnis mit der Technologie des „rekursiven Schlussfolgerns“ (Recurrent Reasoning) zusammen: Modelle reflektieren vor der Antwort mehrfach, was ihre Fähigkeiten erheblich steigert, den Denkprozess jedoch schwerer überwachbar macht – genau jener tote Winkel, den die gegenseitige Testvereinbarung untersuchen soll. Unterdessen vertraten Führungskräfte von Microsoft und Nvidia diese Woche eine andere Perspektive und argumentierten, dass einige Probleme eher auf menschliche Fehler und mangelhaftes Engineering als auf die KI selbst zurückzuführen seien.

Neben der Zusammenarbeit beim Thema Sicherheit verläuft auch die Produktfront ebenso angespannt. Muse von Meta belegte nur eine Woche nach dem Start den ersten Platz der Kostenlos-Charts im US-App-Store und verdrängte ChatGPT auf den zweiten Platz. OpenAI entwickelt neue Funktionen, die direkt auf den neu eingeführten Grok Bot von SpaceX abzielen, und berät über den Start eines persönlichen KI-Assistenten, um gegen Muse anzutreten. Das neue Produkt wird in erster Linie bestehende Agenten-Technologien aus Codex und ChatGPT integrieren und sich mit Apps wie E-Mail und Kalender verbinden, um mehrstufige Aufgaben wie Terminplanung und E-Mail-Kommunikation automatisch zu erledigen. Unterdessen hat eine weitere ähnliche App, Instinct, die Marke von 100.000 Nutzern überschritten.