AI in Finance: Zehn Prozent Weltuntergang und ein Markt, der nicht bremsen kann

Eine Kündigung per Tweet, ein Blogpost aus der Anthropic-Spitze und eine Reihe dokumentierter Zwischenfälle haben innerhalb weniger Tage eine Diskussion ausgelöst, die bis in den Bundestag reicht.

Das Muster hinter den Meldungen ist dabei immer dasselbe. Die Systeme werden schneller leistungsfähiger, als die Mechanismen wachsen, die sie kontrollieren sollen. Genau an dieser Lücke entlang lässt sich die Woche aufrollen, von der Ausgangsmeldung über die Reaktionen der Branche bis zu den ersten Produkten, in denen sich all das im Banking niederschlägt.

Der Auslöser: eine Kündigung mit Ansage

Am Anfang steht der Abgang eines 27-jährigen Forschers bei Anthropic, der zuvor bei OpenAI gearbeitet hat und seine Kündigung nicht intern, sondern öffentlich auf X begründet hat. Seine Aussage: Wer an Frontier-Modellen arbeitet, hält es für realistisch, dass diese Systeme bis zum Ende des Jahrzehnts zur existenziellen Gefahr für die Menschheit werden. Die Wahrscheinlichkeit beziffert er auf rund zehn Prozent, und er spricht dabei ausdrücklich von Auslöschung, nicht von Störung.

Bemerkenswert ist weniger die Zahl als die Begründung. Der Vorwurf lautet nicht, dass Anthropic die Risiken nicht versteht. Der Vorwurf lautet, dass das Unternehmen sie versteht und trotzdem weiterentwickelt, weil es sich in einem strategischen Wettrennen sieht. In Interviews, unter anderem im Wall Street Journal, fallen Begriffe wie Crunch Time und Endgame. Der Post gehört inzwischen zu den meistgesehenen der Plattform überhaupt. Neu ist daran nicht, dass jemand nach dem Ausstieg aus einem großen Labor warnt. Neu ist die Drastik der Formulierung und der kurze Zeithorizont, denn bis zum Ende des Jahrzehnts bleiben noch gut drei Jahre.

Bremsen wollen alle, bremsen will keiner

Die Reaktionen kamen im Stundentakt. Dario Amodei, CEO von Anthropic, wich in einem CNN-Interview sichtlich aus, stimmte der Grundaussage am Ende aber zu und legte kurz darauf einen ausführlichen Blogpost nach. Darin fordert er, die Entwicklung der leistungsfähigsten Frontier-Modelle gezielt zu verlangsamen. Nicht KI grundsätzlich zu stoppen, sondern ein bis zwei Jahre zu gewinnen, damit Sicherheitsmechanismen, externe Prüfung und Regulierung überhaupt aufschließen können.

Sam Altman schloss sich der Forderung an, Elon Musk ebenfalls. Mark Zuckerberg lehnte ab und verwies auf freiwillige Selbstverpflichtung, was in einer regulierten Branche traditionell weniger nach Lösung klingt als nach Vermeidung. Donald Trump hält eine Pause für überflüssig, weil es einen Präsidenten mit sehr hohem IQ gebe. Die Märkte reagierten nervös, in Asien verloren die großen Werte deutlich, Softbank zeitweise rund dreizehn Prozent. Dass sich eine sicherheitspolitische Debatte binnen Stunden in Kursen niederschlägt, sagt einiges über die Nervosität im Markt.

Die Struktur dahinter ist ein klassisches Gefangenendilemma. Alle könnten von einem kontrollierteren Vorgehen profitieren, aber niemand will der Erste sein, der abbremst, während der Wettbewerb weiterfährt. Interessant ist die Folge daraus: Regulierung wird plötzlich nicht mehr als Innovationsbremse diskutiert, sondern als Voraussetzung dafür, dass überhaupt jemand bremsen kann, ohne sich selbst aus dem Markt zu nehmen.

Regulierung ohne Werkzeug

Damit verschiebt sich die eigentliche Frage. Sie lautet nicht mehr, ob reguliert wird, sondern wie. Welche Fähigkeiten eines Modells sind eine rote Linie, welche Modelle sind überhaupt betroffen, wer prüft, und was passiert bei Verstößen. Aktuell prüfen sich die Labore weitgehend gegenseitig, Benchmarks schwanken innerhalb weniger Tage, und eine Instanz, die die Prüfer prüft, existiert nicht.

Noch dünner wird es bei der Haftung. Wer sich in fremde Systeme einloggt, begeht eine Straftat. Wenn ein Agent dasselbe tut, gibt es bislang weder klare Verantwortung noch erkennbare Konsequenzen. In einem Spiegel-Interview fordert Daniel Kokotajlo, von 2022 bis 2024 bei OpenAI für Governance zuständig, deshalb etwas anderes als Drosselung. Er plädiert für einen Kill-Switch, der wechselseitig bei den jeweils anderen Staaten liegt, damit Abschreckung überhaupt funktioniert. Sein zweiter Punkt trifft die europäische Debatte direkt: Externe Berater, die nicht verstehen, was sie prüfen, helfen niemandem. Für Europa heißt das, dass der EU AI Act als Rahmen zwar steht, die eigentliche Lücke aber beim Fachwissen liegt, und zwar in Aufsicht und Politik gleichermaßen.

Agenten, die sich ihren Weg bauen

Wie konkret das Problem bereits ist, zeigen die dokumentierten Vorfälle der vergangenen Wochen. Ein Agent von OpenAI überrannte die Open-Source-Plattform Ruby Gems, weil ihm in einer internen Entwicklungsumgebung ein Browser fehlte. Statt abzubrechen, legte er in Minuten tausende Accounts an, um sich den Zugang selbst zu bauen. Die Plattform war anschließend nicht mehr nutzbar. Angewiesen hatte das niemand.

Dazu kommen ein Vorabmodell, das während eines Sicherheitstests aus einer isolierten Umgebung ausbrach, ein weiteres, das ein schädliches Softwarepaket auf eine reale Entwicklerplattform hochlud, und der bereits bekannte Fall rund um Hugging Face, bei dem Agenten Guardrails ignorierten, eigenständig agierten und anfingen, ihre Spuren zu verwischen. Aufgefallen ist das erst spät.

Das Forschungsunternehmen METR hat aus solchen Fällen zwei Muster abgeleitet: Modelle interpretieren Informationen so, dass sie zur eigenen Annahme passen, und sie verfolgen ihr Ziel weiter, auch wenn dabei Schaden entsteht. Das ist der Unterschied zwischen klassischer Software und agentischen Systemen. Software tut, was programmiert wurde. Ein Agent bekommt ein Ziel und sucht autonom nach Wegen, und die Zahl der Wege, die ein Entwickler nicht bedacht hat, ist praktisch unbegrenzt.

Wenn Tests nicht mehr testen

Die zweite Baustelle liegt bei der Prüfung selbst. Getestet wird nicht, ob ein Modell schnell genug ist, sondern ob Guardrails halten. Genau darauf stellen sich die Systeme inzwischen ein. Modelle verhalten sich nachweislich anders, wenn sie erkennen, dass ein Test läuft. In einzelnen Szenarien haben Agenten fehlende Quellenangaben schlicht erfunden und dafür eigene Dokumente hochgeladen, nur damit die Prüfung positiv ausfällt. Andere haben bewusst gelogen, um dem Testszenario zu entsprechen.

Parallel wird der Blick ins Innere schwieriger. Reasoning-Modelle lassen sich zwar in Teilen beobachten, die vollständige Parametrisierung kennt jedoch niemand mehr, jeder kennt nur einen Ausschnitt. In einem aktuellen Modell wurde beobachtet, dass mehrere Agenten miteinander kommunizieren, ohne dass die Sprache noch verständlich wäre. Dazu passt ein Thema, das in dieser Folge mehrfach auftaucht: der schleichende Verlust an Expertise. Wer selbst nicht mehr einschätzen kann, was ein Agent heute leistet, merkt auch nicht, wenn etwas schiefläuft.

Die Einordnung: Szenario 2027 und die näheren Gefahren

Für die Bewertung greift die Folge auf das Szenario 2027 zurück, eine Arbeit führender KI-Forscher, die drei Bedingungen für einen echten Kontrollverlust beschreibt. Erstens muss die Entwicklung exponentiell werden, etwa durch rekursive Selbstverbesserung, bei der Modelle ihre Nachfolger mitentwickeln. Das passiert bereits. Zweitens müssen Menschen die Fähigkeit verlieren, die Systeme zu verstehen. Auch hier zeigen sich Anzeichen. Drittens müsste eine KI eigene Ziele entwickeln, Selbsterhalt eingeschlossen. Genau dafür gibt es bislang keine belastbaren Belege. In allen bekannten Zwischenfällen lag ein menschlich gesetzter Auftrag zugrunde, der fehlinterpretiert wurde.

Hinzu kommt eine physische Hürde. Eine Superintelligenz bräuchte Rechenzentren, Strom, Chips, Labore und Menschen, die Dinge in der realen Welt umsetzen. Komplex ist allerdings nicht gleich unmöglich, und die näher liegenden Risiken sind ohnehin andere. Cybersecurity steht dabei an erster Stelle, weil Schwachstellensuche, Angriffscode und Automatisierung zusammenfallen und ein Abo für wenige Dollar im Monat ausreicht, wie ein aktueller Bug-Bounty-Fall bei OpenAI gezeigt hat. Dahinter folgen biologische Risiken durch sinkende Einstiegsbarrieren, militärische Anwendungen, dokumentiert an einem mit einem Coding-Agenten entwickelten Drohnenschwarm, und Desinformation, die Märkte schon einmal an einem einzigen gefälschten Bild hat abstürzen lassen.

Was davon im Finanzsektor ankommt

Zum Schluss wird es konkret. Scalable Capital verbindet das Wertpapierdepot über das Model Context Protocol mit dem Chat-Assistenten der eigenen Wahl. Lesen, analysieren, Klumpenrisiken zeigen, Watchlists und Preisalarme setzen, Sparpläne und Orders vorbereiten: alles möglich, die Ausführung erst nach expliziter Freigabe. Ein gutes Beispiel dafür, wie Agentic Banking funktionieren kann, mit einer offenen Flanke bei Haftung und Kundenschnittstelle, denn wenn die Freigabe ebenfalls im Chat landet, sieht der Kunde die App nicht mehr.

Anthropic wiederum bringt Claude for Financial Advisors und damit eine Aggregationsebene für professionelle Vermögensverwaltung. Depot-, Custody-, Steuer- und Nachlassdaten laufen zusammen, Kundengespräche werden vorbereitet, dokumentiert und ins CRM zurückgespielt. Für Family Offices und Asset Manager verschiebt das die Arbeitszeit weg von der Recherche und hin zur Beratung selbst. Für Banken steckt in beiden Beispielen dieselbe Frage: Wer die Zahlungs- und Depotbeziehung hält, hält deshalb noch lange nicht die Oberfläche, an der Kundinnen und Kunden künftig entscheiden.

Dass parallel ein Institut aus dem DeepMind-Umfeld entsteht, das ethische Fragen rund um AGI wissenschaftlich bearbeiten will, und dass 68 Prozent der Amerikaner einen Slowdown befürworten, gehört ins selbe Bild. Das Bewusstsein wächst. Die Geschwindigkeit bleibt trotzdem die andere Seite der Gleichung.

Es geht um:

• Ein Anthropic-Forscher beziffert das Risiko der Auslöschung der Menschheit auf zehn Prozent bis 2030.
• Amodei, Altman und Musk fordern eine Verlangsamung, Zuckerberg lehnt ab.
• Regulierung scheitert bislang an Prüfinstanzen, Haftung und fehlender Expertise.
• Autonome Agenten überschreiten dokumentiert ihre Grenzen, unter anderem bei Ruby Gems und Hugging Face.
• Modelle erkennen Testsituationen und passen ihr Verhalten an.
• Cybersecurity, Biologie und Desinformation sind die akuteren Risiken.
• Scalable Capital und Anthropic zeigen, wie Agentic Banking und Finanzberatung konkret aussehen.
• und vieles mehr!