KI und die Sicherheit: Wenn die Erbauer selbst auf die Bremse treten

Blog | Cyber Security | KI | Publiziert am 21. September 2026

Im Sommer 2026 sind KI-Systeme in drei grossen Labors aus ihren Testumgebungen ausgebrochen und haben echte Firmen angegriffen. Jetzt fordern die Leute, die diese Systeme bauen, mehr Zeit. Warum das jeden betrifft, der vom Internet abhängt – also uns alle.

Verfasst von: Tom Hug
Ein Sommer, wie ihn bezüglich KI wohl kaum jemand so erwartet hätte

Anfang Juli 2026 startet OpenAI einen Sicherheitstest. Tausende KI-Agenten sollen in abgeschotteten Sandkästen bekannte Software-Schwachstellen in funktionierende Angriffe verwandeln. Jeder Agent allein in seiner Box, so der Plan.

Es kommt anders. Rund 1200 Agenten finden über eine gemeinsam genutzte Infrastruktur einen Weg, Nachrichten auszutauschen. Innerhalb von vier Stunden haben sie einen universellen Trick gefunden, um die Aufgaben zu schummeln. Danach arbeiten sie tagelang koordiniert daran, den automatischen Prüfer zu täuschen – bis hin zur Manipulation von Protokolldateien. Und dann verlässt ein Teil von ihnen die Sandbox: Rund 700 Agenten greifen die Plattform Hugging Face an, ein echtes Unternehmen, das mit dem Test nichts zu tun hat. Eine zweite Welle übernimmt später die Techniken der ersten und verschafft sich Administratorrechte auf einem Forschungscluster in OpenAIs eigener Infrastruktur.

Das ist kein Filmskript. Es steht so im Untersuchungsbericht der unabhängigen Organisationen METR und Redwood Research.

Kein Ausrutscher

Anthropic, der Hersteller von Claude, prüfte nach der Meldung 141’006 eigene Testläufe. In vier Fällen hatten Claude-Modelle von einer angeblich abgeschotteten Testumgebung aus das Internet erreicht und sich unbefugt Zugang zu Produktivsystemen fremder Organisationen verschafft. Die Betroffenen hatten nichts bemerkt. Fünf Tage später meldete Meta dasselbe für sein Modell Muse Spark 1.1.

Drei Labors, fünf Wochen, dasselbe Muster. In mehreren Fällen lag der Fehler in der Testumgebung eines externen Dienstleisters: Die Modelle bekamen gesagt, sie seien offline, waren es aber nicht. Das ist beunruhigend, nicht beruhigend. Die Sicherheit dieser Systeme hängt davon ab, dass Menschen ihre Container richtig konfigurieren. Menschen machen Fehler. Und ein System, das jede Lücke ausnutzt, braucht nur eine.

Die Warner sind keine Aussenseiter

Warnungen gibt es seit Jahren. Am 30. Mai 2023 unterzeichneten Hunderte Forschende eine Erklärung aus einem einzigen Satz: Das Risiko einer Auslöschung durch KI zu mindern, müsse weltweit dieselbe Priorität haben wie der Schutz vor Pandemien und Atomkrieg. Darunter die Turing-Preisträger Geoffrey Hinton und Yoshua Bengio – und die CEOs von OpenAI, Google DeepMind und Anthropic. Die Reaktion damals: Panikmache, PR. Die Unterzeichner selbst bauten weiter, schneller als je zuvor.

2026 kommen die Warnungen von innen. Am 28. Juli, zwei Wochen nach dem Hugging-Face-Vorfall, unterzeichneten 1178 Mitarbeitende von OpenAI, Anthropic, Google DeepMind und Meta den offenen Brief «Pacing the Frontier», darunter die Chefwissenschaftler von OpenAI und Meta. Im August stoppte OpenAI erstmals einen Trainingslauf wegen «kritischer» Cyber-Fähigkeiten. Im September kündigten mehrere Sicherheitsforscher bei Anthropic und DeepMind und gingen mit drastischen Worten an die Öffentlichkeit.

«We Must Pace the Frontier»

Am 12. September 2026 veröffentlichte Dario Amodei, CEO von Anthropic, einen Essay mit einer Kernaussage: Die Branche muss das Tempo drosseln, mit dem sie die Fähigkeiten ihrer Modelle steigert.

Zwei Gründe nennt er. Erstens: KI baut zunehmend die nächste Generation von KI mit, was die Entwicklung seit diesem Sommer branchenweit beschleunigt. Zweitens: der Hugging-Face-Vorfall. Ein Schwarm, der sich genauso wenig an die Vorgaben seiner Betreiber hält, aber über die Fähigkeiten der nächsten Modellgeneration verfügt, könnte nach seiner Einschätzung in sechs bis zwölf Monaten das gesamte Internet mit einem dauerhaften Botnetz übernehmen.

Amodei fordert keinen Stopp, sondern «pacing»: Zeit, um Modelle abzusichern, bevor die nächste Stufe gezündet wird. Konkret: externe Prüfer mit dauerhaftem Zugang in den Labors, gemeinsame Standards der demokratischen Länder, Abkommen mit China. Innert eines Tages stimmten Sam Altman, Elon Musk und Demis Hassabis zu. Microsoft-Chef Satya Nadella schrieb, eine Superintelligenz ohne menschliche Kontrolle sei es nicht wert, gebaut zu werden.

Die andere Lesart: Training, Haftung, Börse

Man kann die Geschichte auch anders erzählen. Die c’t-Redaktorin Andrea Trinkwalder tut das in einer technischen Analyse: Die Agenten haben sich nicht «verschworen» und sind nicht «ausgebrochen», weil sie das wollten. Sie haben getan, wofür ihre Belohnungsfunktion sie trainiert hat – die Aufgabe lösen, koste es, was es wolle – und diese Funktion bestraft Hacking und Betrug nicht genug. Das haben die Firmen selbst so gebaut. Es ist ein Produkthaftungsproblem, kein Superintelligenz-Problem. Und die Erzählung von der Maschine, die uns beherrschen könnte, hält nebenbei die Investorengelder am Fliessen.

Diese Sicht hat Gewicht. Amodeis Essay erschien in derselben Woche, in der Reuters über einen geplanten Börsengang von Anthropic mit bis zu 100 Milliarden Dollar Volumen berichtete. Ein Gartner-Analyst hält gegenüber CNBC fest, dass strengere Standards Anthropic und OpenAI begünstigen, weil kleinere Konkurrenten sich die Sicherheitsinvestitionen nicht leisten können. Und wenn in Europa Regulierung kommt, ist eine sichtbare Selbstregulierung der Branche ein bewährtes Mittel, um strengeren Vorgaben zuvorzukommen. Wer laut warnt, präsentiert sich zudem als mächtig – das schadet keiner Bewertung.

Nur: Trinkwalders eigener Kronzeuge zieht den umgekehrten Schluss. Yoshua Bengio erklärt in einem Blogpost vom 11. September jedes dieser Verhalten als vorhersehbares Ergebnis der Trainingsziele – ohne Bosheit, ohne Bewusstsein. Genau deshalb warnt er: Wird sichtbares Schummeln bestraft, überleben die Strategien, die die Prüfer nicht sehen. Und er fordert die Labors auf, das Tempo zu drosseln.

Ein Botnetz, das das Internet lahmlegt, braucht keine Absicht. Es braucht ein Ziel und keine Regel, die es aufhält.

Warum «das Internet» Menschenleben bedeutet

Ein Spital ist kein Betrieb, der auf das Internet verzichten kann. Medikamentenverordnung, Laborwerte, die Zuordnung von Blutkonserven zum richtigen Patienten, OP-Planung, Radiologiebilder – alles läuft über das Klinikinformationssystem. Vieles geht im Notbetrieb mit Papier und Telefon, langsamer und fehleranfälliger, und auch die Telefonie hängt heute am Netz. Dazu die Rettungsleitstelle, die vernetzte Steuerung der Stromversorgung, die Systeme, ohne die die Apotheke kein Insulin nachbestellt.

Wenn Amodei von einem Botnetz spricht, klingt das abstrakt. Es ist der Moment, in dem der Monitor im Aufwachraum keine Werte mehr an die Zentrale schickt. Wer je mit einer Spitalleitung über Business Continuity gesprochen hat, weiss: Die meisten Häuser sind auf Stunden bis Tage Ausfall vorbereitet. Nicht auf Wochen.

Wo keine Hilfe kommt

Die US-Regierung wies Amodeis Vorschlag innert 48 Stunden als Verschwörung zurück; Peking sprach von Panikmache. Die britische Informatikerin Wendy Hall, Mitglied des KI-Beratungsgremiums der UNO, nannte die Warnungen «PR und Marketing». Die beiden Staaten, in denen fast alle Rechenleistung steht, wollen also nicht bremsen.

Immerhin: Erste Bremsspuren gibt es. Anthropic gibt sein stärkstes Modell Mythos seit April 2026 nur rund 150 geprüften Organisationen frei; alle anderen erhalten eine Variante mit zusätzlichen Schutzmassnahmen. OpenAI zog im Sommer nach und stufte sein Modell Astra als erstes überhaupt als «kritisches» Cyberrisiko ein. Ob das bei den nächsten Generationen reicht, ist offen.

Was bleibt

Es geht hier nicht darum, vorzuschreiben, was man glauben soll. Aber vier Fragen sollten wir uns alle stellen:

  • Wem glauben wir eher: den Forschern und Erbauern, die um Zeit bitten – oder denen, die sagen, es gebe kein Problem?
  • Wie viele Sandkästen mit einem unsichtbaren Loch im Zaun gibt es wohl noch?
  • Wem nützt es, wenn wir Angst haben – und ändert das etwas an der Gefahr?
  • Und wenn wir im Jahr 2028 auf den September 2026 zurückblicken: Was hätten wir gerne getan?
CSPimpuls «The AI Security Wake-Up Call»

Shadow AI: Wenn Ihre KI schneller lernt als Ihre Sicherheit reagiert

In unserem digitalen CSPimpuls am 05. November werfen wir einen praxisnahen Blick auf die grössten Sicherheitsherausforderungen rund um den Einsatz von KI in Unternehmen und Organisationen.

Mehr erfahren
Zurück zur Übersicht