Die Debatte rund um KI-Vorfälle in den vergangenen Monaten zeigt: Über ernsthafte Sicherheitsmaßnahmen mache man sich Gedanken, sagt Reinhard Karger vom Deutschen Forschungszentrum für Künstliche Intelligenz, und verweist auf ähnliche Vorfälle in der Geschichte.
Herr Karger, KI-Modelle machen im Augenblick Schlagzeilen – vor allem wegen möglicherweise gefährlichen Verhaltens der KI. Können Sie erklären, was da eigentlich passiert ist?
Seit November ’22 haben sicherlich die meisten Leser des FORUMs einen Chatbot ausprobiert – ChatGPT von OpenAI, aber auch andere, Claude von Anthropic etwas später. Überraschend ist die Verbosität, die Qualität der Sprachlichkeit dieser Systeme. Und die Modelle wurden schnell auch inhaltlich deutlich leistungsfähiger. Der neue Aspekt sind die agentischen KI-Systeme. Dabei geht es darum, komplexe Aufgaben an die Maschine zu delegieren: Mach etwas für mich, und sag mir Bescheid, wenn es fertig ist. Diese Multiagentensysteme bestehen aus einer Vielzahl spezialisierter KI-Agenten, die zusammen an einer Lösung arbeiten. Als triviales Beispiel: Hotelbuchung, Reiseplanung. Die Aufgabe könnte sein: „Ich will nach Rom, zentral wohnen, kein Bus“ – und die Agenten stellen einen Reiseplan inklusive Hotelübernachtung et cetera zusammen. Und vielleicht ergänzen sie noch Hinweise zu Events, die zu den eigenen Vorlieben passen. Das Problem: Ein solcher Service ist dann wirklich sinnvoll, wenn auch Buchungen durchgeführt werden. Und buchen kann man nur, wenn man für den Vertragsabschluss auch auf eine Kreditkarte zugreifen kann. Das ist bei Reisebuchung praktisch und wenn etwas nicht den eigenen Wünschen entspricht, meistens auch reversibel. Man könnte KI-Agenten auch für den eigenen Börsenhandel einsetzen. An der Börse kaufen oder verkaufen. Das kann profitabel sein, muss es aber nicht. Die allgemeine Frage ist deshalb: Welche Assistenten entstehen, wenn diese eine Vielzahl von Aktionen ausführen können? Und wie kann sichergestellt werden, dass die KI-Agenten tatsächlich in meinem Sinn handeln? Das ist das sogenannte Alignment-Problem. Wie kann verhindert werden, dass nicht aus Versehen zum Beispiel allen Mitarbeitern gekündigt wird? Neue Modellgenerationen haben in den letzten Jahren eine sprunghaft erweiterte Leistungsfähigkeit gezeigt. Sie werden vor der Veröffentlichung rigide getestet, damit versehentliche Fehlfunktionen möglichst ausgeschlossen sind. Bei diesen Tests geht es darum, die tatsächliche Leistungsfähigkeit des Modells beurteilen zu können. Um das zu tun, muss man Sicherungsmaßnahmen reduzieren, die man vorher aus guten Gründen eingeführt hatte. Diese Testumgebung nennt man auch Sandbox, und sie besteht aus einer Rechnerinfrastruktur, die vollständig isoliert ist oder es sein soll. Es darf keine Verbindung ins öffentliche Internet geben, weder per Kabel noch per WLAN. Eine funkisolierte und hermetisch abgeschlossene Umgebung. Genau damit sind wir beim Hugging-Face-Vorfall: Das Design der Testumgebung war offensichtlich nicht ernsthaft oder gründlich genug. Das Containment hat nicht funktioniert. Laut forensischer Untersuchung haben die OpenAI-Mitarbeiter die Aktivität der KI-Agenten überwacht. Und sie hätten Statusmeldungen gesehen wie „wir sind noch alle da, wir machen nichts außerhalb“. Die Logs zeigten „alles in Ordnung“, während die KI-Agenten längst bei Hugging Face eine Schwachstelle identifiziert hatten. Man könnte die Frage stellen, warum diese Meldung so viel Aufmerksamkeit erzeugt hat. Das prinzipielle Problem selber ist schließlich nicht neu. Menschen mussten schon oft erkennen, dass wir die Nebenwirkungen einer Technologie nicht korrekt eingeschätzt haben – wie bei der Dampfmaschine, wo niemand 1769 an eine industrielle Revolution, an CO2 und eine mögliche Veränderung des Weltklimas gedacht hat. Die Nebenwirkungen einer hochleistungsfähigen Technologie können dramatisch sein. Bei KI kommt aber eine weitere Dimension dazu. Und das ist kein Problem der Technologie selber, sondern der Art und Weise, wie wir darüber sprechen. Wenn wir sagen „die KI wollte“, „die KI ist ausgebrochen“ oder die Frage stellen, ob „die KI die Mitarbeiter von OpenAI getäuscht hat“, dann unterstellen wir eine Absicht. Aber das ist Anthropomorphisierung, eine unziemliche Vermenschlichung. Ich glaube, es ist wichtig, dass wir damit aufhören, damit wir eine emotionale Auseinandersetzung vermeiden und eine rationale Debatte führen können. Da ist kein Wille in der Maschine, keine Absicht. Es handelt sich um ein „KI-System“, nicht um „die KI“.
Verstehen wir denn, welche Sicherheitsmaßnahmen wir brauchen, gerade wenn wir es vielleicht bald mit super-, hyperintelligenten Systemen zu tun haben, die an Dinge denken, an die wir nicht denken?
Ich hoffe, dass maschinelle Intelligenz uns Chancen eröffnet, die wir ohne sie nicht hätten – das ist der Sinn der Sache. Aber es geht um die Haltung. Und die richtige Haltung ist, nach Hans Jonas’ „Prinzip Verantwortung“, die Haltung der Furcht. Man muss die Furcht zulassen. Wenn jemand sagt, „da könnte noch XY passieren“, ist das eine Aufforderung zur Reflexion – und es ist gut, dass Deutschland manchmal eines der wenigen Länder ist, das sagt: Wir sollten noch weiter nachdenken, während andere Nationen sagen: Wird schon. Wir haben im Deutschen das schöne Wort „Bedenken“ – da steckt das Denken drin. Bedenkenträger und Leistungsträger sollten sich eigentlich ideal ergänzen, denn wir haben mittlerweile Dimensionen erreicht, in denen die Lücke zwischen bloßer Hoffnung auf gutes Wetter und echten Nebenwirkungen zu viel Schaden anrichten kann. Aber das funktioniert nur „heiß“, nicht „kalt“ – ein Bedenkenträger, der nur kühl „wenn dann aber“ sagt, setzt sich nicht durch. Man braucht das Feuer: Wenn es nie brennt, gibt es auch keine Feuerwehr. Genau deswegen ist so ein Vorfall wie bei Hugging Face gut und wichtig – er zwingt die KI-Entwickler, wirklich noch mal nachzudenken. Bei der Hyperintelligenz-Debatte, dem Büroklammer-Szenario – dass die Menschheit als Nebenwirkung vernichtet wird, weil das einzige Optimierungskriterium eines hypothetischen KI-Systems ist, so viele Büroklammern herzustellen wie möglich –, würde ich sagen: Man sollte KI-Systeme nutzen, um Nebenwirkungen hoch aufgelöst antizipieren zu können, und dann Test- und Einsatzkriterien so anpassen, dass der mögliche Schaden minimiert oder ausgeschlossen wird.
Es gibt ja auch viel Feuer im Konkurrenzkampf der Unternehmen. Adam Tooze hat gesagt, wir hätten quasi fünf Privatunternehmen, die eine Atombombe entwickeln. Wie stellen wir sicher, dass das Rennen der KI-Unternehmen keine schlimmen Nebenwirkungen hat?
Wenn die Frage an die Privatwirtschaft geht, kommt schnell die Antwort: verstaatlichen. Aber vielleicht ist Verstaatlichung noch schlechter, Staaten sind ja auch keine Erfolgsgeschichte. Dann sagt man: zerschlagen, wie bei den amerikanischen Eisenbahnbaronen oder den Monopolen der Öl- oder Telekommunikationsindustrie. Denn KI-Systeme sind General Purpose Technologies, also Technologien, die einen immensen globalen Effekt haben – so wie das Internet. Und General Purpose Technologies sollten nicht monopolisiert sein. Es ist wahrscheinlich, dass in den USA irgendwann geklagt wird, und diese Klagen haben wirklich große Auswirkungen. Ich vermute, im Hintergrund bereiten sich Leute schon vor, orientiert an der Argumentation gegen AT&T, gegen die Ölfirmen. Es braucht nur noch einen Anlass, dann dauert das vielleicht einige Jahre, landet beim Supreme Court, und am Ende werden diese Industrien vom Staat aufgeteilt – zum Beispiel in Training, Datensammlung, Hardwareproduktion. Ich bin optimistisch, was die ökonomischen und intellektuellen Selbstheilungskräfte angeht. Siehe den Facebook-Vergleich von vor wenigen Wochen wegen Sucht-Vorwürfen durch Social-Media-Verwendung. Dort ging es schon um viele Milliarden Dollar. Dass sich Facebook auf einen Vergleich eingelassen hat, lässt einen ahnen, dass für Facebook die Vermutung im Raum stand: Wenn wir das nicht vom Tisch bringen, wird es sehr viel teurer für das Unternehmen. Die amerikanischen Gerichte nehmen ihren Job da wirklich ernst, ganz unabhängig von der jeweils aktuellen Regierung.
Für viele sieht das Ganze außerdem nach einer finanziellen Blase aus, die platzen könnte. Wie würden Sie das sehen?
Ich erinnere mich an den 14. September 2008, den Beginn der Finanzkrise, ausgelöst durch Ninja-Kredite, vergeben ohne Bonitätsprüfung. Das war eine echte Blase, die krachend gescheitert ist. Auch die Dotcom-Blase um 2000/2001 beruhte auf Versprechen, die für den damaligen Moment unhaltbar waren, weil zum Beispiel DSL erst später kam. Bei der aktuellen KI-Entwicklung sehe ich diese Blase nicht, weil tatsächlich Geld verdient wird – siehe Amazon. Die eigentliche Frage ist die Marktkapitalisierung: Nvidia macht 2026 wohl deutlich über 300 Milliarden Dollar Umsatz und hat aktuell einen Börsenwert von 5,5 Billionen Dollar. Bei einem Unternehmen mit solchen Umsätzen kommt man eben schnell auf sehr große Zahlen – und dann fragt man sich, was eine faire Bewertung ist. Das Zehnfache des Umsatzes? Bei Apple ist das ungefähr die Größenordnung, und die haben über Jahre bewiesen, dass sie nachhaltig so viel verkaufen können, etwa mit Rücknahme- und Cradle-to-Cradle-Programmen. Das eigentliche Risiko ist die Eigendynamik des Marktes: Bei einer Marktkapitalisierung von fünf Billionen reicht ein „Clean Diesel“-Moment, also ähnlich dem Abgasbetrug der Autokonzerne in Deutschland, und der Kurs kollabiert um 20 Prozent – das wären dann eine Billion Dollar, die aus Pensionsdepots und den Zukunftshoffnungen der Kleinanleger verschwinden. Gefährlich, ja. Aber ich glaube, wir brauchen trotzdem sehr viel Innovationsfähigkeit, weil wir zum Beispiel Klimawandel und globale soziale Gerechtigkeit nur mit technologischen Innovationen adressieren können. Die Begriffe Hyperintelligenz und Superintelligenz lenken ab und dienen für mich vor allem der Auflagensteigerung – ich bleibe lieber beim neutraleren Begriff der maschinellen Intelligenz.
Brauchen wir angesichts solcher Vorfälle ein Moratorium, stärkere Regulierung – eine Art Nuklearproliferationsabkommen für KI?
Wir müssen da kaum etwas neu erfinden. Es gibt bereits internationale Systeme für Nuklearfragen, Luftfahrt, Verkehr, Medizin – überall hat man sich mit Unfällen, Meldepflicht und Dokumentation von Gegenmaßnahmen beschäftigt. Krankenhäuser sind meldepflichtig, damit sich Infektionen nicht wiederholen, genauso im Flugverkehr. Da steckt enorm viel Menschheitsweisheit drin. Das ist übrigens nicht neu: Im 19. Jahrhundert explodierten Dampfkessel, und man hat zwei Dinge erfunden – den Technischen Überwachungsverein und das Überdruckventil. Beides gibt es bis heute, bis in jede Espressomaschine. Übertragen auf KI heißt das: Eingerichtet werden müssen nationale Meldestellen, die Vorfälle an eine internationale Organisation weitergeben, die dann Ähnlichkeiten analysiert und Maßnahmen initiiert. Genau das ist gerade in Deutschland entstanden – das KI-Sicherheitsinstitut (AI Security and Safety Institute), im Juni vom Nationalen Sicherheitsrat unter Bundeskanzler Merz ins Leben gerufen, gefordert auch durch die europäische KI-Verordnung. Das DFKI arbeitet seit 2023 auch am internationalen AI Safety Report mit – einer weltweiten Initiative, an der auch Microsoft und viele Forschungseinrichtungen beteiligt sind. Mittlerweile muss man für die Notwendigkeit solcher Institute nicht mehr argumentieren, das ist Konsens. Es geht voran, auch wenn es nicht über Nacht passiert.
Nobelpreisträger Geoffrey Hinton und US-Techunternehmer erwähnen in kürzlichen Interviews häufiger, es bestehe eine zehnprozentige Chance, dass KI die Menschheit in den nächsten Jahren vernichtet. Ist das übertrieben?
Ich weiß nicht, worauf sich diese zehn Prozent genau stützen. Denkbar ist ein Szenario, in dem ein Unfall passiert, gemeldet und analysiert wird – aber eine Nebenwirkung entstanden ist, die man nicht beherrschen kann. Dann würde man das System abschalten wollen und landet beim Kontrollproblem: Es ist vorstellbar, dass es nicht ausreicht, den Strom auszuschalten, denn es könnte sein, dass sich KI-Agenten schon in USB-Sticks, ROMs oder anderen Speicherbauteilen verteilt, den Code überall „zwischengelagert“ haben. Im Extremfall bedeutet ein Zusammenbruch kritischer digitaler Infrastruktur: kein Strom im Krankenhaus, kein Bahnverkehr, keine digitale Kommunikation, kein Smartphone, auch kein Social Media, kein Geldautomat, keine Börse – man wäre auf Dieselgeneratoren, Solarpaneele und Röhrengeräte zurückgeworfen. Das wäre eine zehnprozentige Chance auf ein Leben, das man wirklich nicht haben wollte. Aber ich möchte mich dabei nicht auf Terminator- oder Büroklammer-Fiktionen einlassen, in denen die Maschine „böse“ wird. Würde es eine Katastrophe geben, wäre das kein „Angriff der Maschinen“. Der Schaden für die Menschheit wäre eine unbeabsichtigte Nebenwirkung. Ich sehe ein, dass es das im Ergebnis nicht wirklich besser macht. Aber ich bin davon überzeugt, dass Deutschland eine wichtige Rolle spielt, solche Szenarien zu verhindern.