Ich hatte ja schon vor einiger Zeit unter dem Titel “The Downfall of the Large Language Models” einen kleinen Rant auf die perspektische Entwicklung von KI-Modellen geschrieben – damals noch unter der Prämisse, dass von Menschen generierter Content das neue Öl ist, auf dass sich die Tech-Bros stürzen, um es ihren LLMs zum Fressen/Lernen vorzuwerfen. Damals hatte ich einfach die Behauptung aufgestellt, dass der Verteilungskampf um menschlich generierten Content (auch mit juristischen Mitteln) deshalb so unerbittlich geführt wird, weil die Alternative in Form des durch die KI immer wiedergekäuten Inhalts keine sinnhafte Grundlage mehr für das Training von neuronalen Netzen darstellt.
Nunmehr haben Forscher der Universitäten Duke, Cambridge und Oxford diese These mit wissenschaftlichen Methoden untersucht und die Ergebnisse in Nature veröffentlicht. Die klare und nicht überraschende Botschaft: Wenn man einer KI als Trainingsdaten immer nur den Output einer KI übergibt, degeniert das Modell nach einiger Zeit und ist dann nicht mehr zu gebrauchen.
“The message is, we have to be very careful about what ends up in our training data,. Otherwise, things will always, provably, go wrong”.
Zakhar Shumaylov, AI researcher at the University of Cambridge, UK
Prämisse: Durch den kometenhaften Aufstieg der KI im Allgemeinen und der LLMs im Besonderen nimmt auch im Netz der Anteil von KI-generierten Inhalten stetig zu. Diese Inhalte gelangen sodann mit Hilfe vieler unermüdlicher Crawler, die fleißig den Content von jeder öffentlichen Webressource zusammenkratzen, wiederum in den Pool der Trainingsdaten für die Nachfolgegenerationen der derzeitige KI-Modelle. Auf diese Weise trainieren die Nachfolgegenerationen sodann auf dem Output der Vorgänger. As simple as that.
Versuchsaufbau: In ihrer Untersuchung fütterten die Forscher das Sprachmodell OPT-125m von Meta anfangs mit einem Datensatz aus Wikipediatexten. Nachfolgegenerationen dieses KI-Systems erhielten für ihr Fine-Tuning dann aber nur noch die von ihrem Vorgänger generierten Daten oder eine Mischung aus 90 Prozent KI-Daten und zehn Prozent von Menschen generierten Originaldaten.
Beobachtung: Schon nach fünf KI-Generationen zeigte sich eine deutliche Verschlechterung der Antworten des Sprachmodells auf die ihm gestellten Fragen. Die zu Tage tretenden Fehlantworten der KI basierten dabei auf auf einem Kaskaden-Effekt, durch den sich einzelne Ungenauigkeiten kombinierten und die Fehler insgesamt immer weiter zunahmen. Auch erzeugte die KI nicht nur inhaltliche Fehler, sondern auch semantische wie beispielsweise Wort- und Satzwiederholungen. Dabei wurden die Ausgaben noch schlechter, wenn man die KI per Prompt dazu aufforderte, Wiederholungen zur vermeiden. Im weiteren Verlauf des Untersuchungszyklus antwortete die KI nicht mehr auf die gestellte Frage oder war nur noch auf einen kleinen Teilaspekt der Antwort fixiert. Nach neun Generationen des Wiederkäuen des durch die KI generierten Contents kollabierte das Sprachmodell schließlich und gab nur noch sinnlose Sprachbrocken und Zeichenfolgen von sich.
Erklärung: Das ungefilterte Lernen auf Basis von KI-generierten Daten bewirkt einen Kollaps des Modells, weil hierdurch ein degenerativer Prozess in Gang gesetzt wird, an dessen Ende das jeweilige Modell die tatsächliche Verteilung der Originaldaten vergessen hat. Da diese Häufigkeitsverteilung allerdings die Basis für das Lernen der künstlichen Intelligenz bildet, entwickelt sich diese zurück – sie wird also immer “dümmer”, bis sie schließlich vollkommen degeneriert ist. Dieses Ergebnis tritt zumindest immer dann ein, wenn die Traningsdaten von ein und derselben KI stammen. Welchen Einfluss Trainingsdaten haben, die von anderen KI-Modellen generiert wurden und die sodann in den Pool von Trainingsdaten eingebracht wurden, haben die Forscher nicht untersucht. Es liegt jedoch die Vermutung nahe, dass das Ergebnis das gleiche sein wird, wenngleich es unter Umständen etwas länger dauert, bis die getestete KI gänzlich degeneriert ist.
Nun, was macht man mit dieser Erkenntnis?
Zum einen sollte man etwas mehr Skepsis bzgl. der unendliche Leistungsfähigkeit von KI-Modellen an den Tag legen. Nein, sie werden nicht die kognitive Leistung von Menschen in vielen Bereichen überflüssig machen – ganz im Gegenteil: KI braucht unverfäschten menschlichen Content als Grundlage des eigenen Lernens. Und eben daran hapert es – in einer Zeit, in der selbst der Content in den Güllegruben und Wurst-Fabriken der Social Media Plattformen schon mit Hilfe von KI-basierten Helferlein erzeugt wird, schwindet der human factor im Netz immer weiter. Es wird automatisierter Bullshit-Content generiert, der sodann wieder von automatiserten Ranking-Mechanismen bewertet und klassifiziert wird, um auf dieser Grundlage Menschen in ihrer Entscheidungsfindung zu beeinflussen. Da Menschen heute jedoch kaum noch Entscheidungen unbeeinflusst von Algorithmen treffen, schließt sich der Kreis hier wieder, wenn nämlich ein Algorithmus dem Menschen einen Entscheidungsvorschlag unterbreitet. Shit in, shit out.
Zum anderen könnte man natürlich versuchen, maschinengenerierten Content durch digitale Wasserzeichen entsprechend zu kennzeichnen und so als Input für die riesigen Datenpools an Trainingsdaten für die verschiedenen KI-Modelle auszusortieren. Das wird allerdings aus verschiedenen Gründen schwierig: Auf der einen Seite müssten die großen Wettbewerber im Markt der KI-Modelle diesbezüglich zusammenarbeiten, was sich zumindest zum jetzigen Zeitpunkt wohl eher als schwierig darstellt. Auf der anderen Seite wollen die B2B-Kunden der großen KI-Modelle, die sich via API einfach hinter ChatGPT, PaLM, Llama usw. geklemmt haben, um dann dem Endkunden “ihre” KI-Lösung zu verkaufen, ja auch nicht, dass transparent wird, dass sie selbst nur in einer Symbiose mit den 4-5 großen LLMs leben.
Weitere Quellen:
- AI models fed AI-generated data quickly spew nonsense, by Elizabeth Gibney
