KI-Training: Das offene Web macht dicht

Das offene Web war für lange Zeit der billigste Rohstoff der KI-Industrie. Doch jetzt werden hochwertige Trainingsdaten knapp, teuer und exklusiv. Das bedroht KI-Modelle nicht sofort mit dem Kollaps, verschiebt aber die Macht im Markt.

Über das offene Web lernten große Sprachmodelle lange Zeit aus Nachrichtenseiten, Foren, Blogs, Dokumentationen, Codeplattformen und frei zugänglichen Archiven. Was öffentlich im Netz stand, floss oft in Datensätze ein, aus denen später Chatbots, Bildgeneratoren und Suchassistenten entstanden.

Doch dieses Modell gerät zunehmend unter Druck. Immer mehr Seitenbetreiber sperren Crawler aus, die Inhalte für KI-Training oder große Datensammlungen abrufen. Denn Verlage, Forenbetreiber, Händler und Blogger wollen nicht länger kostenlos Material liefern, aus dem KI-Unternehmen neue Produkte bauen. Gleichzeitig nimmt der Anteil synthetischer Inhalte im Netz zu. Damit wächst die Sorge, dass künftige Modelle weniger aus menschlichen Daten lernen und stärker aus den Ausgaben früherer Modelle.

Verlieren KI-Modelle langfristig an Qualität?

Das könnte langfristig zum sogenannten Model Collapse beitragen: KI-Modelle verlieren an Qualität, wenn sie über mehrere Generationen hinweg vor allem mit Inhalten trainiert werden, die frühere Modelle erzeugt haben. Dabei gehen seltene Informationen, sprachliche Vielfalt und Genauigkeit schrittweise verloren. Das Modell lernt dann zunehmend aus seinen eigenen Vereinfachungen und Fehlern statt aus neuen menschlichen Daten.

Dazu muss es nicht zwangsläufig kommen, eine Folge lässt sich aber schon heute kaum von der Hand weisen: Wenn menschliche Trainingsdaten knapper, teurer und exklusiver werden, verändert sich die gesamte Ökonomie der KI-Entwicklung. Wer zahlen kann, sichert sich hochwertige Datenbestände. Wer das nicht kann, verliert Anschluss. Besonders hart trifft das kleinere Anbieter und offene Modellprojekte.

Klar ist: Die Erfassung frei zugänglicher Internetinhalte stößt auf wachsenden Widerstand. Die Data-Provenance-Initiative zeigte bereits im Juli 2024, wie schnell sich der Zugriff auf Webdaten verändert. Ihre Untersuchung Consent in Crisis (PDF) erfasste den Zeitraum von April 2023 bis April 2024 und kam zu dem Ergebnis, dass innerhalb eines Jahres mehr als 25 Prozent der Tokens aus besonders wichtigen Webquellen durch robots.txt-Regeln eingeschränkt wurden. Über die gesamten Korpora C4, Refinedweb und Dolma hinweg lag der Anteil neu eingeschränkter Tokens bei mehr als fünf Prozent. Die Studie beschreibt damit den beginnenden Rückzug hochwertiger Webdaten aus frei nutzbaren Trainingskorpora bis April 2024.

Immer mehr seriöse Seiten schließen Crawler aus

Wie stark dieser Trend im Medienbereich weiterging, zeigt die Untersuchung Is Misinformation More Open? A Study of robots.txt Gatekeeping on the Web. Die Forschungsgruppe analysierten hierfür 3.369 seriöse Nachrichtenseiten und 710 Desinformationsseiten. Für ihre Längsschnittanalyse nutzten sie sechs Snapshots aus dem Internet Archive zwischen September 2023 und Mai 2025. Das Ergebnis: Der Anteil seriöser Nachrichtenseiten, die mindestens einen KI-Crawler vollständig ausschließen, stieg von 23 Prozent im September 2023 auf nahezu 60 Prozent im Mai 2025. Im selben Zeitraum blieben Desinformationsseiten deutlich offener. Dort lag der entsprechende Anteil unter zehn Prozent.

Zusammengeführt zeigen beide Arbeiten eine klare Entwicklung: Hochwertige, menschlich erzeugte Webdaten bleiben technisch zwar weiterhin auffindbar, sind für KI-Training aber zunehmend nicht mehr frei verfügbar.

Mehr Informationen und Quelle: golem.de