# You are what you eat – Wenn KI von KI lernt

- Link: https://smartnuts.com/2024/08/03/you-are-what-you-eat-wenn-ki-von-ki-lernt/
- Veröffentlicht: 2024-08-03T18:48:51+02:00
- Autor: Michael Bunzel

Ich hatte ja schon vor einiger Zeit unter dem Titel “[The Downfall of the Large Language Models](https://smartnuts.com/2024/01/06/dawn-of-the-llms/)”
einen kleinen Rant auf die perspektische Entwicklung von KI-Modellen geschrieben–
damals noch unter der Prämisse, dass von Menschen generierter Content das neue Öl
ist, auf dass sich die Tech-Bros stürzen, um es ihren LLMs zum Fressen/Lernen vorzuwerfen.
Damals hatte ich einfach die Behauptung aufgestellt, dass der Verteilungskampf um
menschlich generierten Content ([auch mit juristischen Mitteln](https://www.nytimes.com/2023/12/27/business/media/new-york-times-open-ai-microsoft-lawsuit.html))
deshalb so unerbittlich geführt wird, weil die Alternative in Form des durch die
KI immer wiedergekäuten Inhalts keine sinnhafte Grundlage mehr für das Training 
von neuronalen Netzen darstellt.

Nunmehr haben Forscher der Universitäten Duke, Cambridge und Oxford diese These 
mit wissenschaftlichen Methoden untersucht und die Ergebnisse in [Nature](https://www.nature.com/articles/s41586-024-07566-y)
veröffentlicht. Die klare und nicht überraschende Botschaft: Wenn man einer KI als
Trainingsdaten immer nur den Output einer KI übergibt, degeniert das Modell nach
einiger Zeit und ist dann nicht mehr zu gebrauchen.

> “The message is, we have to be very careful about what ends up in our training
> data,. Otherwise, things will always, provably, go wrong”.
> **Zakhar Shumaylov**, AI researcher at the University of Cambridge, UK

**Prämisse:** Durch den kometenhaften Aufstieg der KI im Allgemeinen und der LLMs
im Besonderen nimmt auch im Netz der Anteil von KI-generierten Inhalten stetig zu.
Diese Inhalte gelangen sodann mit Hilfe vieler unermüdlicher Crawler, die fleißig
den Content von jeder öffentlichen Webressource zusammenkratzen, wiederum in den
Pool der Trainingsdaten für die Nachfolgegenerationen der derzeitige KI-Modelle.
Auf diese Weise trainieren die Nachfolgegenerationen sodann auf dem Output der Vorgänger.
As simple as that.

**Versuchsaufbau:** In ihrer Untersuchung fütterten die Forscher das Sprachmodell
OPT-125m von Meta anfangs mit einem Datensatz aus Wikipediatexten. Nachfolgegenerationen
dieses KI-Systems erhielten für ihr Fine-Tuning dann aber nur noch die von ihrem
Vorgänger generierten Daten oder eine Mischung aus 90 Prozent KI-Daten und zehn 
Prozent von Menschen generierten Originaldaten.

**Beobachtung:** Schon nach fünf KI-Generationen zeigte sich eine deutliche Verschlechterung
der Antworten des Sprachmodells auf die ihm gestellten Fragen. Die zu Tage tretenden
Fehlantworten der KI basierten dabei auf auf einem Kaskaden-Effekt, durch den sich
einzelne Ungenauigkeiten kombinierten und die Fehler insgesamt immer weiter zunahmen.
Auch erzeugte die KI nicht nur inhaltliche Fehler, sondern auch semantische wie 
beispielsweise Wort- und Satzwiederholungen. Dabei wurden die Ausgaben noch schlechter,
wenn man die KI per Prompt dazu aufforderte, Wiederholungen zur vermeiden. Im weiteren
Verlauf des Untersuchungszyklus antwortete die KI nicht mehr auf die gestellte Frage
oder war nur noch auf einen kleinen Teilaspekt der Antwort fixiert. Nach neun Generationen
des Wiederkäuen des durch die KI generierten Contents kollabierte das Sprachmodell
schließlich und gab nur noch sinnlose Sprachbrocken und Zeichenfolgen von sich.

**Erklärung:** Das ungefilterte Lernen auf Basis von KI-generierten Daten bewirkt
einen Kollaps des Modells, weil hierdurch ein degenerativer Prozess in Gang gesetzt
wird, an dessen Ende das jeweilige Modell die tatsächliche Verteilung der Originaldaten
vergessen hat. Da diese Häufigkeitsverteilung allerdings die Basis für das Lernen
der künstlichen Intelligenz bildet, entwickelt sich diese zurück – sie wird also
immer “dümmer”, bis sie schließlich vollkommen degeneriert ist. Dieses Ergebnis 
tritt zumindest immer dann ein, wenn die Traningsdaten von ein und derselben KI 
stammen. Welchen Einfluss Trainingsdaten haben, die von anderen KI-Modellen generiert
wurden und die sodann in den Pool von Trainingsdaten eingebracht wurden, haben die
Forscher nicht untersucht. Es liegt jedoch die Vermutung nahe, dass das Ergebnis
das gleiche sein wird, wenngleich es unter Umständen etwas länger dauert, bis die
getestete KI gänzlich degeneriert ist.

Nun, was macht man mit dieser Erkenntnis?

Zum einen sollte man etwas mehr Skepsis bzgl. der unendliche Leistungsfähigkeit 
von KI-Modellen an den Tag legen. Nein, sie werden nicht die kognitive Leistung 
von Menschen in vielen Bereichen überflüssig machen – ganz im Gegenteil: KI braucht
unverfäschten menschlichen Content als Grundlage des eigenen Lernens. Und eben daran
hapert es – in einer Zeit, in der selbst der Content in den Güllegruben und Wurst-
Fabriken der Social Media Plattformen schon mit Hilfe von KI-basierten Helferlein
erzeugt wird, schwindet der human factor im Netz immer weiter. Es wird automatisierter
Bullshit-Content generiert, der sodann wieder von automatiserten Ranking-Mechanismen
bewertet und klassifiziert wird, um auf dieser Grundlage Menschen in ihrer Entscheidungsfindung
zu beeinflussen. Da Menschen heute jedoch kaum noch Entscheidungen unbeeinflusst
von Algorithmen treffen, schließt sich der Kreis hier wieder, wenn nämlich ein Algorithmus
dem Menschen einen Entscheidungsvorschlag unterbreitet. Shit in, shit out.

Zum anderen könnte man natürlich versuchen, maschinengenerierten Content durch digitale
Wasserzeichen entsprechend zu kennzeichnen und so als Input für die riesigen Datenpools
an Trainingsdaten für die verschiedenen KI-Modelle auszusortieren. Das wird allerdings
aus verschiedenen Gründen schwierig: Auf der einen Seite müssten die großen Wettbewerber
im Markt der KI-Modelle diesbezüglich zusammenarbeiten, was sich zumindest zum jetzigen
Zeitpunkt wohl eher als schwierig darstellt. Auf der anderen Seite wollen die B2B-
Kunden der großen KI-Modelle, die sich via API einfach hinter ChatGPT, PaLM, Llama
usw. geklemmt haben, um dann dem Endkunden “ihre” KI-Lösung zu verkaufen, ja auch
nicht, dass transparent wird, dass sie selbst nur in einer Symbiose mit den 4-5 
großen LLMs leben.

Weitere Quellen:

 * [AI models fed AI-generated data quickly spew nonsense](https://www.nature.com/articles/d41586-024-02420-7),
   by Elizabeth Gibney