Künstliche Intelligenz am Limit: Was passiert, wenn die Daten ausgehen？ Diese Lösung von Google Deepmind könnte helfen

Die KI-Branche steht vor einer gewaltigen Herausforderung: Laut OpenAI-Mitgründer Ilya Sutskever sind die nutzbaren Datenmengen erschöpft.

Doch es gibt Hoffnung: Eine neue Methode – die „Inferenzzeit-Berechnung, könnte die Datenmauer durchbrechen und KI-Modelle revolutionieren.

Experten sehen in synthetischen Daten eine Chance, die KI-Entwicklung voranzutreiben.

Künstliche Intelligenz (KI) wird immer besser – zumindest war das bisher so. Doch jetzt stehen wir vor einem großen Problem: Es gibt kaum noch neue Daten, um die Modelle weiter zu verbessern. Das erklärte kürzlich Ilya Sutskever, Mitbegründer von OpenAI, auf einer großen Konferenz. „Wir haben den Höhepunkt erreicht, was die Datenmenge betrifft“, sagte er. „Es wird keine neuen, nützlichen Daten mehr geben.”

Das klingt dramatisch, denn KI-Modelle wie ChatGPT oder andere Systeme wurden mit riesigen Mengen an Daten aus dem Internet trainiert. Dieser Prozess, genannt Pre-Training, war bisher die Grundlage für die beeindruckenden Fortschritte in der KI. Doch ohne neue Daten scheint die Entwicklung ins Stocken zu geraten.

Lest auch

Ich nutzte ChatGPT eine Woche lang als Suchmaschine – darum kehre ich jetzt wieder zu Google zurück

Warum ist das ein Problem?

Damit KI-Modelle immer besser werden, brauchen sie mehr und bessere Daten. Doch wenn alle nützlichen Informationen aus dem Internet bereits genutzt wurden, stehen die Entwickler vor einer Herausforderung: Woher sollen neue Daten kommen?

Das ist keine kleine Sache, denn die gesamte Branche – und damit auch riesige Investitionen – hängt davon ab, dass KI weiterhin Fortschritte macht.

Die mögliche Lösung: „Länger nachdenken

Es gibt jedoch eine neue Technik, die dieses Problem lösen könnte: Sie heißt Inferenzzeit-Berechnung. Klingt kompliziert, ist aber eigentlich einfach zu verstehen. Der Trick dabei: Anstatt ein Problem direkt und schnell zu lösen, wird es in kleinere Teile zerlegt. Das KI-Modell bearbeitet diese Teile nacheinander und „denkt sozusagen länger über die Aufgabe nach.

Wenn ein Modell beispielsweise eine komplizierte Matheaufgabe lösen soll, wird sie in mehrere Schritte aufgeteilt. Jeder Schritt wird einzeln überprüft, bevor es weitergeht. Am Ende kommt eine viel bessere Antwort heraus, als wenn das Modell die Aufgabe auf einmal lösen müsste.

Lest auch

Elon Musk und Jeff Bezos wollen Powerpoints abschaffen – viel Glück damit

Neue Chancen durch bessere Antworten

Jetzt wird es interessant: Diese verbesserten Antworten können als neue Daten genutzt werden, um die KI weiter zu trainieren. Mit dieser Methode könnten Entwickler also eine Art Kreislauf schaffen: Die KI löst Aufgaben immer besser, und diese Ergebnisse helfen, die KI noch weiter zu verbessern.

Große Unternehmen wie OpenAI, Google oder Deepseek setzen bereits auf diese Technik. Deepseek ist ein chinesisches Unternehmen mit Sitz in Hangzhou, das sich mit der Weiterentwicklung von Künstlicher Intelligenz (KI) auseinandersetzt.

OpenAI hat im September ein Modell namens „o1 veröffentlicht, das auf Inferenzzeit-Berechnung basiert. Google und Deepseek haben ähnliche Modelle entwickelt, die ebenfalls sehr gut funktionieren.

Was sagen Experten dazu?

Ein Forscher, der an diesem Thema arbeitet, ist Charlie Snell. Er erklärte, dass diese Technik besonders spannend sei, weil sie eine neue Datenquelle erschließt.

„Wenn man eine KI dazu bringt, während des Nachdenkens bessere Antworten zu liefern, kann man diese Antworten als Trainingsmaterial verwenden, sagt er. Das wäre ein Weg, die Datenknappheit zu überwinden.

Microsoft-CEO Satya Nadella zeigte sich optimistisch, als er kürzlich in einem Podcast über dieses Thema sprach. Er beschrieb die neue Technik als einen „fantastischen Weg, um KI-Modelle noch leistungsfähiger zu machen.

Lest auch

Microsofts gewaltige Wette auf KI bleibt ein Geduldspiel für Anleger

Wie geht es weiter?

Die großen KI-Firmen wollen die Technik in den kommenden Jahren intensiv testen. Aber es gibt noch offene Fragen: Funktioniert sie wirklich bei allen Aufgaben? Besonders bei komplexen, schwer überprüfbaren Aufgaben – wie dem Schreiben von Texten – könnte es schwierig werden.

Trotzdem sind viele Experten optimistisch. Sie glauben, dass diese Methode eine wichtige Rolle dabei spielen könnte, die KI-Entwicklung auch ohne neue Internet-Daten voranzutreiben.

Die KI-Industrie steht vor einer Herausforderung, aber auch vor einer spannenden neuen Möglichkeit. Mit der Inferenzzeit-Berechnung könnten Modelle sich selbst verbessern und damit das Datenproblem umgehen. Ob diese Technik den erhofften Durchbruch bringt, wird sich in den nächsten Jahren zeigen – die Chancen stehen jedenfalls gut.