# The Downfall of the Large Language models?

- Link: https://smartnuts.com/2024/01/06/dawn-of-the-llms/
- Veröffentlicht: 2024-01-06T09:56:18+01:00
- Autor: Michael Bunzel

Wann werden wir den Zeitpunkt erreicht haben, an dem die ganzen KI-Modelle keinen
menschlichen Trainings-Input mehr “digesten” können, weil kein nennenswerter, mit
menschlicher Kreativität generierter Content mehr erzeugt wird?

Nun, eine Antwort auf diese Frage zu geben, ist sicher nicht einfache – nur eins
ist klar: Ab diesem Zeitpunkt werden sich die Trainingsdaten der LLMs primär aus
dem maschinengenerierten Bullshit-Bingo der generativen AI speisen – frei nach dem
allbekannten SISI-Prinzip: shit in, shit out. Das sich der Output von LLMs über 
kurz oder lang zur dominierenden Quelle der menschlichen Wissenaneignung entwickeln
wird, schlussfolgert allein schon aus der Geschwindigkeit des Wachstums von LLMs
in allen Lebensbereichen. Die Frage ist, wie sich dann die Intelligenz der konsumierenden
Masse, die sich dieser Modelle als Grundlage ihrer kognitiven Entwicklung bedient,
entwicklen wird. An den Pfad des eigenen kritischen Nachdenkens für den Fall der
als unzulänglich erkannten Antwort der Maschine vermag ich persönlich nicht zu glauben.

Nun könnten man meinen, dass die großen Player wie OpenAI. Microsoft, Meta, Google,
Adobe oder NVIDIA dieser Frage schon hinreichend Aufmerksamkeit widmen und für den
Tag X, an dem die AI beginnt, den maschinengenerierten Content aufzunehmen, wiederzukäuen
und dem “Prompt-Engineer” als die einzige Wahrheit zu verkaufen, vorbereitet sind.
Allerdings hat der derzeitige (Kultur-)Kampf um die letzten, ausschließlich von 
Biomasse generierten Inhalten im Netz mitnichten im Sinn, die Zukunftsfähigkeit 
von LLMs zu sichern. Vielmehr geht es, so wie eigentlich immer in unserer Wachstums-
Ökonomie, nur um das “outperforming” der Mitberwerber: Wenn das eigene LLM auf einem
größeren Pool von von Mensch generiertem Content aufgebaut und trainiert wurde, 
verkauft es sich einfach besser an die zahlungswille Kundschaft.

Und so rückt sich dann auch das Wehklagen von [Stackoverflow](https://twitter.com/peternixey/status/1640002493630369792),
Reddit ([Link 1](https://www.reddit.com/r/reddit/comments/145bram/addressing_the_community_about_changes_to_our_api/),
[Link 2](https://www.theregister.com/2023/04/18/reddit_charging_ai_api/)) oder der
[NY Times](https://www.nytimes.com/2023/12/27/business/media/new-york-times-open-ai-microsoft-lawsuit.html)
in die richtige Perspektive – untermauert mit dem Argument der Verletzung des geistigen
Eigentums kämpfen hier zumeist Plattformbetreiber und Verlagshäuser um die Monetarisierung
ihrer Kronjuwelen, die ansonsten durch die Crawler einfach kostenfrei aufgesaugt
und in eine LLM-Lernbasis überführt werden. Interessanter ist allerdings der Umstand,
dass auch die Nutzer der Plattformen und die Autoren digitaler Produkte sich immer
deutlicher gegen die Verwertung ihres Outputs in Form von Trainingsdaten aussprechen.
Insoweit ist die Tür aufgestoßen zu dem oben beschriebenen Szenario des langsam 
versiegenden Stroms an menschlich generierten Lernartefakten für LLMs.

**Weitere Referenzen:**

[Argumentationssammlung für AI Companies, warum man für das Aufsaugen von Trainingsinhalten im Netz nichts zahlen sollte](https://www.theverge.com/2023/11/4/23946353/generative-ai-copyright-training-data-openai-microsoft-google-meta-stabilityai)(
via The Verge)

[Klageverfahren der NY Times gegen OpenAI/Microsoft wegen geschäftsmäßiger IP-Verletzung](https://www.theregister.com/2023/12/27/the_new_york_times_files/)(
via The Verge)

[Künstliche Intelligenz droht in Kollaps](https://www.scinexx.de/news/technik/kuenstliche-intelligenz-droht-ein-kollaps/)(
via scinexx.de)