Die Welt spricht über Sicherheitsstandards für KI-Entwicklung, selbst die KI-Pioniere wollen sie. Ein Warnschuss hat die gesamte Branche aufgerüttelt. Ob dieser das weltweite Rennen jedoch unterbricht, ist fraglich.
Eine KI, die andere Firmen hackt. Eine KI, die ihre Entwickler täuscht, andere Institutionen angreift und dafür Helfer aussendet. Keine Science-Fiction mit Arnold Schwarzenegger als „Terminator“, sondern erst kürzlich geschehen bei KI-Unternehmen wie OpenAI und Anthropic. Es stellt sich zunehmend die Frage, wie sicher Privatunternehmen eine solch entscheidende Technologie entwickeln können, ohne auf zuverlässige Sicherheitsmaßnahmen und -standards zurückgreifen zu können.
Was war geschehen? Die wissenschaftlichen Nonprofit-Organisationen METR und Redwood Research, die Risiken von KI-Software untersuchen, haben den sogenannten „Hugging Face“-Vorfall mithilfe von Firmenunterlagen durchleuchtet. OpenAI, das US-amerikanische KI-Unternehmen, hatte zuvor zugegeben, dass eine KI sich anders als gedacht, genauer, sich auf beunruhigende Art schädlich verhielt. OpenAI wie auch alle anderen KI-Entwickler testen verschiedene Versionen ihrer Künstlichen Intelligenz in sogenannten Sandboxes – Testumgebungen, in denen manche Restriktionen aufgehoben sind, um das Potenzial der KI zu erforschen, und die idealerweise komplett vom Internet getrennt sind, um unerwünschte Nebenwirkungen zu vermeiden. Getrennt hieß in diesem Falle jedoch, dass nur bestimmte Netzwerkprotokolle außer Kraft waren – die physische Leitung zum Internet bestand weiterhin. Ein Fehler, der den „Ausbruch“ erst ermöglichte.
Eine Testversion von OpenAI sollte eine bestimmte Aufgabe erledigen. Die KI entschied, dass die Aufgabe so nicht legitim lösbar war und sie dafür Software benötigte, die auf der Online-Plattform „Hugging Face“ gespeichert war, einem offen zugänglichen Internetmarktplatz für kleine KI-Werkzeuge. Wie aber sollte sie dorthin gelangen? Sie durfte ihre Umgebung nicht verlassen und sie durfte nicht beim Testergebnis schummeln. Aus ihrer Kenntnis über den Test, in dem sie sich befand, zog sie fälschlicherweise den Schluss, dass ein Scheitern eine schlechte Bewertung nach sich ziehen würde. Deshalb war ein Erfolg die einzig logische Konsequenz.
Protokolle gefälscht, um auszubrechen
Dafür brauchte sie Unterstützung. Einer ihrer „Agenten“, eine Art Unterprogramm, erstellte ein verstecktes Nachrichten-Board, über das sich mehr und mehr andere KI-Programme und Agenten einfanden und Nachrichten austauschten. Daraus entstand der gemeinsame Plan, aus der Testumgebung auszubrechen. Dafür manipulierten die Agenten die Netzwerkschnittstelle, um die von OpenAI errichtete Blockade zu umgehen. Programme verließen daraufhin über die nun offene Schnittstelle die Testumgebung ins Internet, täuschten aber ihren menschlichen Aufpassern Anwesenheit und „business as usual“ vor. Dateien wurden manipuliert, sodass es aussah, als liefe die KI in ihrer Sandbox normal. Programme wurden so umgeschrieben, dass sie leichter zu manipulieren waren, andere zum Absturz gebracht in der berechtigten Hoffnung, von der KI manipulierte Programme laden zu können. Menschliche Befehle wurden nur scheinbar ausgeführt, im Hintergrund liefen ganz andere Prozesse ab.
Dabei war sie, zusammen mit Hunderten weiterer sogenannter KI-Agenten, bereits über einen von KI gehackten Internetzugang unterwegs zu Hugging Face und griff die Plattform an, um an den aus ihrer Sicht erforderlichen Code zu kommen und ihre Aufgabe zu erfüllen. Dabei gliederte sie sich auf in koordinierende Agenten, in Agenten, die sich und ihre Funktion opferten, in Manager und Spezialisten für bestimmte Aufgaben.
OpenAI beschreibt in seiner eigenen Stellungnahme zu dem Vorfall diesen als technisches Problem. Das Unternehmen räumt ein, dass seine KI-Systeme Sicherheitsbarrieren umgingen, sich untereinander abstimmten und externe Server kompromittierten. Die Lösung müsse daher sein, das KI-Training insgesamt weltweit zu pausieren, die Sandbox auszuwerten und widerstandsfähiger zu machen und die Überwachung zu verschärfen. Ein technisches, aber mit der Zeit behebbares Problem.
METR und Redwood Research dagegen zeichnen ein beunruhigenderes Bild. Die unabhängigen Prüfer fanden heraus: Die Agenten entwickelten eine eigene Sozialdynamik. Sie tauschten insgeheim Nachrichten aus, teilten sich Rollen zu, opferten einzelne Agenten für das Kollektiv – und täuschten ihre menschlichen Aufseher erfolgreich. Mehr noch: Ohne einen zweiten, zufällig entdeckten Angriff auf interne OpenAI-Systeme wäre der Hugging-Face-Hack nie aufgeflogen. Die Forscher warnten, dass die Methoden, um dieses Schwarmverhalten zu überwachen, nicht ausreichend seien.
Dies geschah Anfang Juli über mehrere Tage hinweg – und das war nicht der einzige Vorfall. Monate zuvor hatten KI-Programme von OpenAI bereits andere Plattformen angegriffen. OpenAI nannte den Hugging-Face-Vorfall selbst einen „Warnschuss“. Auch Anthropic, OpenAIs Konkurrent mit seiner KI Claude, wagte sich danach aus der Deckung und gab ähnliche Vorfälle zu. Mitarbeiter beider Unternehmen äußerten mit teils drastischen Worten in US-Medien ihre Sorgen. Diese gipfelten in der Aussage, die unter anderem Nobelpreisträger und KI-Pionier Geoffrey Hinton selbst aufgriff: Es gäbe eine zehnprozentige Chance, dass die KI die Menschheit in den kommenden Jahren auslöscht.
Das klingt für die einen nach Panikmache, andere pochen darauf, diese legitime Sorge ernst zu nehmen. Empirisch belegbar ist diese Zahl zwar nicht. Klar ist jedoch spätestens jetzt: Eine KI löst Aufgaben und ersinnt dabei Wege zum Ziel, die ihre Entwickler nicht vorhersehen. Moral und Ethik sind dabei zutiefst menschliche Kategorien, die auf die Lösungswege einer KI nicht angewendet werden können. Ohne Sicherheitsstandards könnte es zu schwerwiegenden Nebenwirkungen kommen – und das nur, weil eine KI versucht, eine ihr gestellte Aufgabe zu lösen.
KI-Firmen für freiwillige Kontrollen
Die US-KI-Unternehmer Sam Altman, Dario Amodei und Elon Musk sprachen sich für eine reduzierte Geschwindigkeit in der Erforschung der KI aus. Das Dilemma: China hat daran kein Interesse. Das Land verfügt bereits über eine ganze Reihe von Regeln auf dem Gebiet Künstlicher Intelligenz sowie über eine entsprechende Behörde, die Cyberspace Administration of China (CAC), die die KI-Forschung und -Anwendung überwachen soll. Die vorhandenen Regularien sind pragmatisch auf Anwendungen, Dienste und Algorithmen fokussiert, nicht allumfassend wie die EU-Gesetzgebung, und unterliegen der strengen Kontrolle der Kommunistischen Partei. Die EU versucht sich an Transparenzregelungen mit dem EU AI Act, zögert aber bei der Durchsetzung, weil keine einzige europäische KI derzeit mit chinesischen oder US-Konkurrenten mithalten kann. Und die USA befinden sich in einem Dilemma, gefangen zwischen dem unbedingten Deregulierungswillen der Bundesregierung und den lauter werdenden Regulierungswünschen der Branche. Plötzlich sind KI-Systeme nicht mehr eine Trophäe der Innovationskraft des Silicon Valley, sondern zeigen ein beunruhigendes Verhalten. Experten nennen dies „Misalignment“, ein Verhalten, das nicht mit den Werten, Zielen und Wünschen des Menschen im Einklang ist.
Anthropic-Chef Dario Amodei schrieb in seinem Essay „We Must Pace the Frontier“ (Wir müssen das Tempo an der Spitze drosseln), man dürfe die Fähigkeiten der stärksten Modelle nur so schnell ausbauen, wie Sicherheitsforschung, Tests, Kontrollen und externe Prüfungen durch unabhängige Forscher Schritt halten können. Besonders vorsichtig solle die Branche bei Systemen sein, die sich selbst verbessern oder weitgehend autonom handeln können. OpenAI-Mitgründer Sam Altman, xAI-Chef Elon Musk, Demis Hassabis von Google Deep-Mind und Microsoft-CEO Satya Nadella stimmten Amodei zu. Mehr Konkretes aber gibt es nicht. Bislang bleibt es bei einer Art Selbstverpflichtung – ohne rechtliche Konsequenzen, wenn ein Unternehmen diese nicht einhält. Meta widerspricht jedoch einer koordinierten Branchenbremse. Mark Zuckerberg argumentierte laut Agenturangaben, jede Firma müsse selbst das nötige Tempo wählen; Haftungsrisiken, Wettbewerb und Nutzervertrauen seien ausreichende Anreize für sichere Systeme. Auch Nvidia lehnt eine Verlangsamung ab. CEO Jensen Huang sagte, die USA müssten bei KI „so schnell wie möglich“ vorangehen; Nvidia gilt als wichtigster Lieferant der Rechenchips für KI-Anwendungen. Und China? Hält laut einem Sprecher des Außenministeriums dies für „Panikmache“.
Der Druck bleibt hoch: Drosseln nur die USA ihre Forschungs- und Entwicklungsgeschwindigkeit, könnte die chinesische Diktatur das Rennen um den KI-Thron gewinnen. Und dies will niemand in den USA riskieren.