Die Forschung hinter der Architektur.

Grundlage sind über 300 öffentlich dokumentierte KI-Initiativen, Interviews mit 52 Organisationen und eine Befragung von 153 Führungskräften (Januar bis Juni 2025). Die Autoren berichten, dass 95 % der untersuchten Organisationen aus ihren GenAI-Initiativen bislang keinen messbaren finanziellen Ertrag erzielen – betrachtet rund sechs Monate nach dem Pilot. Das ist kein technisches Scheitern: Viele Werkzeuge laufen, verändern aber nichts, was sich in der Ergebnisrechnung zeigt. Als Hauptursache nennen sie eine Lernlücke – Systeme, die sich nicht in bestehende Abläufe einfügen, keinen Kontext behalten und nicht besser werden. Erfolgreiche Unternehmen verlangen prozessspezifische Anpassung und messen an Geschäftsergebnissen statt an Benchmarks; die deutlichsten Erträge sehen die Autoren im Backoffice. Einordnung: Der Bericht ist vorläufig, nach eigener Angabe nicht repräsentativ und betrachtet einen kurzen Zeitraum. Die verbreitete Aussage „95 % aller KI-Projekte scheitern“ gibt er so nicht her; einzelne Quoten im Bericht beziehen sich auf andere Grundgesamtheiten.

56 % der befragten CEOs geben an, dass KI ihrem Unternehmen bislang weder niedrigere Kosten noch höhere Umsätze gebracht hat. 30 % berichten höhere Umsätze, 26 % niedrigere Kosten – nur 12 % beides. Laut PwC setzen sich Unternehmen ab, die KI auf soliden Grundlagen in die Breite gebracht haben. Die Studie liefert damit eine neuere und deutlich größere Datenbasis für die Frage, warum KI-Investitionen häufig noch keinen messbaren Vorteil bringen. Einordnung: Es sind Selbstauskünfte der CEOs, keine gemessenen Finanzkennzahlen.

74 % der Unternehmen haben laut BCG noch keine ausreichenden Fähigkeiten entwickelt, um KI in der Breite einzusetzen und greifbaren Nutzen zu erzielen; nur 26 % kommen über Proof-of-Concepts hinaus, 4 % gelten als Vorreiter. Die Hürden liegen nach BCG zu rund 70 % bei Menschen und Prozessen, zu 20 % bei der Technik und nur zu etwa 10 % bei den Algorithmen. Vorreiter setzen KI in Kernprozessen ein statt nur in unterstützenden Funktionen und konzentrieren sich auf weniger Anwendungsfälle, die sie dafür konsequent skalieren. Einordnung: Befragung von Führungskräften, keine Messung einzelner Projekte.

Die Arbeit führt einen „Decomposer“ ein, der eine Aufgabe in Teilaufgaben zerlegt, die jeweils von spezialisierten Handlern gelöst werden – eigene Prompts, andere Modelle oder ganz normale Programmfunktionen. Weil jeder Handler für sich steht, lässt er sich einzeln verbessern, austauschen oder rekursiv wiederverwenden. Auf mehrstufigen Aufgaben (u. a. symbolische Manipulation, Multi-Hop-Fragen) schlug der Ansatz in der Studie das klassische Chain-of-Thought-Prompting deutlich.

Schwere Probleme werden zuerst in einfachere Teilprobleme zerlegt und dann der Reihe nach gelöst, wobei jede Antwort in den nächsten Schritt einfließt. In der Studie generalisierten Modelle so von leichten Beispielen auf deutlich schwerere Aufgaben, bei denen Chain-of-Thought-Prompting scheiterte.

Statt sofort loszulegen, soll das Modell erst einen Plan aus Teilaufgaben aufstellen und diesen dann abarbeiten. Die Autoren zeigen, dass diese Trennung von Planung und Ausführung typische Fehler von Zero-Shot-Chain-of-Thought reduziert – vor allem ausgelassene Schritte und Rechen- bzw. Verständnisfehler.

Die Arbeit zeigt, dass Sprachmodelle lernen können, an den richtigen Stellen externe Werkzeuge aufzurufen – Taschenrechner, Suche, Kalender, Übersetzung – und deren Ergebnis in die Antwort einzubauen. Ein so trainiertes, vergleichsweise kleines Modell erreichte in der Studie bei Aufgaben, die Fakten oder Rechnen verlangen, die Leistung deutlich größerer Modelle. Kernaussage: Werkzeuge kompensieren, was ein Modell nicht sicher aus dem Gedächtnis kann.

Die Autoren variieren systematisch, an welcher Stelle im Kontext die relevante Information steht. Ergebnis: Modelle nutzen Informationen am Anfang und am Ende zuverlässig, in der Mitte fällt die Genauigkeit deutlich ab – eine U-förmige Kurve, die auch bei Modellen mit ausdrücklich langen Kontextfenstern auftritt. Mehr Kontext ist also nicht automatisch besser; entscheidend ist, dass das Relevante überhaupt und möglichst prominent ankommt.

Die Arbeit kombiniert ein Sprachmodell mit einem Retriever über einer externen Dokumentsammlung: Zur Anfrage werden passende Passagen geholt und dem Modell mitgegeben. Die Antworten wurden in der Studie spezifischer und faktentreuer als bei rein parametrischem Wissen – und das Wissen lässt sich aktualisieren, indem man den Index austauscht statt das Modell neu zu trainieren.

REPLUG behandelt das Sprachmodell als Blackbox: Der Retriever hängt die gefundenen Dokumente einfach vor die Eingabe, das Modell selbst bleibt unangetastet. Die Autoren zeigen, dass so auch große, nicht veränderbare Modelle von externem Wissen profitieren – und dass sich der Retriever mit Rückmeldung des Modells verbessern lässt, ohne dessen Gewichte anzufassen.

Ein Router schätzt vorab, wie schwer eine Anfrage ist, und schickt einfache Anfragen an ein kleines, schwere an ein großes Modell. In den Experimenten der Autoren ließ sich so ein erheblicher Teil der Aufrufe an das große Modell einsparen, ohne dass die Antwortqualität messbar litt – die Grenze ist über einen Qualitätsparameter einstellbar.

Die Arbeit systematisiert drei Hebel gegen LLM-Kosten: Prompts kürzen und bündeln, Antworten cachen bzw. kleinere Modelle einsetzen, und Kaskaden, bei denen erst ein günstiges Modell antwortet und nur bei geringer Zuverlässigkeit eskaliert wird. Auf ihren Benchmarks erreichten die Autoren mit solchen Kombinationen die Qualität des teuersten Modells bei einem Bruchteil der Kosten.

Das Modell schreibt zuerst einen Entwurf, plant dann Prüffragen zu den enthaltenen Behauptungen, beantwortet diese unabhängig vom Entwurf und erstellt daraus die endgültige Antwort. Entscheidend ist die Trennung: Werden die Prüffragen ohne Blick auf den Entwurf beantwortet, übernimmt das Modell dessen Fehler seltener. In der Studie sank die Zahl erfundener Angaben in mehreren Aufgabentypen deutlich.

Dasselbe Modell erzeugt eine Antwort, formuliert in einem zweiten Aufruf Kritik daran und überarbeitet sie in einem dritten – ohne Training, nur durch getrennte Rollen in getrennten Aufrufen. Über sieben Aufgaben hinweg bevorzugten Menschen und automatische Metriken die überarbeiteten Ergebnisse klar gegenüber dem ersten Wurf.

Die Autoren extrahierten aus GPT-2 hunderte wörtlich memorierte Trainingssequenzen – darunter Namen, Adressen und Kontaktdaten realer Personen –, obwohl jede davon nur ein einziges Mal im Training vorkam. Größere Modelle waren anfälliger. Die Folgearbeit von Nasr et al. (ICLR 2025) zeigt, dass auch produktive, abgestimmte Chat-Modelle sich zur Ausgabe von Trainingsdaten bringen lassen.

Die Arbeit beschreibt indirekte Prompt-Injection: Ein Angreifer versteckt Anweisungen in Daten, die das System später liest – Webseiten, E-Mails, Dokumente. Sobald ein LLM diese Inhalte verarbeitet, kann es zu Datenabfluss, Manipulation von Antworten oder unerwünschten Aktionen gebracht werden. InjecAgent (Zhan et al., Findings of ACL 2024) misst das für Agenten mit Werkzeugen: In dem Benchmark ließen sich selbst starke Modelle in einem relevanten Anteil der Fälle über manipulierte Werkzeugausgaben zu schädlichen Aktionen verleiten.