Nächste Version von ChatGPT bereitet OpenAI Probleme – eine Warnung für die gesamte KI-Branche

OpenAI CEO Sam Altman.

Das nächste Modell von OpenAI zeigt eine langsamere Verbesserungsrate, wie „The Information berichtet.

Das hat im Silicon Valley eine Debatte darüber ausgelöst, ob die KI-Modelle ein Leistungsplateau erreichen.

Der KI-Boom hat sich beschleunigt, weil neue Versionen die Nutzer mit großen Leistungssprüngen begeistert haben.

Das nächste Flaggschiff-Modell der Künstlichen Intelligenz von OpenAI weist laut „The Information geringere Verbesserungen im Vergleich zu früheren Versionen auf – ein Zeichen dafür, dass sich die boomende generative KI-Industrie möglicherweise einem Plateau nähert.

Das nächste Modell des ChatGPT-Herstellers, Orion, zeigte nur eine mäßige Verbesserung gegenüber GPT-4, so einige Mitarbeiter, die es benutzt oder getestet haben, berichtet The Information. Der Sprung in Orion war kleiner als der von GPT-3 zu GPT-4, insbesondere bei Codierungsaufgaben, so der Bericht weiter.

Der Bericht entfacht eine Debatte über die Machbarkeit der Entwicklung immer fortschrittlicherer Modelle und die Skalierungsgesetze der KI – die theoretischen Regeln darüber, wie sich die Modelle verbessern.

Der CEO von OpenAI, Sam Altman, schrieb im Februar auf X , dass „die Skalierungsgesetze von Gott entschieden werden; die Konstanten werden von Mitgliedern des technischen Personals bestimmt.

Die von Altman zitierten „Gesetze legen nahe, dass KI-Modelle intelligenter werden, wenn sie größer werden und Zugang zu mehr Daten und Rechenleistung erhalten.

Altman mag immer noch der Ansicht sein, dass eine vorherbestimmte Formel darüber entscheidet, wie viel intelligenter KI werden kann. Aber der Bericht von „The Information zeigt, dass das technische Personal diese Gesetze in Frage stellt – inmitten einer heftigen Debatte im Silicon Valley über die zunehmenden Beweise dafür, dass führende Modelle an eine Leistungsgrenze stoßen.

OpenAI reagierte nicht sofort auf eine Anfrage von Business Insider nach einem Kommentar.

Sind die Skalierungsgesetze in eine Sackgasse geraten?

Obwohl das Training von Orion noch nicht abgeschlossen ist, hat OpenAI dennoch auf zusätzliche Maßnahmen zur Leistungssteigerung zurückgegriffen, wie beispielsweise das Einbinden von Verbesserungen nach dem Training, die auf menschlichem Feedback basieren, so „The Information.

Das Modell, das vor einem Jahr erstmals vorgestellt wurde, könnte bis zu seiner Veröffentlichung noch drastische Verbesserungen erfahren. Es ist jedoch ein Zeichen dafür, dass künftige Generationen von KI-Modellen, die Unternehmen dabei geholfen haben, Milliarden von Dollar aufzubringen und hohe Bewertungen zu erzielen, mit jeder neuen Iteration weniger beeindruckend aussehen könnten.

Es gibt zwei Hauptgründe, warum dies geschehen könnte.

Der CEO von OpenAI, Sam Altman, glaubt fest an „Skalierungsgesetze.

Andrew Caballero-Reynolds/AFP/Getty Images

Daten, ein wesentliches Element der Gleichung der Skalierungsgesetze, sind immer schwieriger zu beschaffen, da die Unternehmen die online verfügbaren Daten schnell ausgeschöpft haben.

Sie haben riesige Mengen an von Menschen erstellten Daten – darunter Texte, Videos, Forschungsarbeiten und Romane – ausgewertet, um die Modelle zu trainieren, die ihren KI-Tools und Funktionen zugrunde liegen, aber das Angebot ist begrenzt. Das Forschungsunternehmen Epoch AI prognostizierte im Juni, dass die Unternehmen bis 2028 keine brauchbaren Textdaten mehr haben werden. Die Unternehmen versuchen, die Beschränkungen zu überwinden, indem sie sich synthetischen Daten zuwenden, die von der KI selbst generiert werden, aber auch das bringt Probleme mit sich.

„Bei allgemeinen Wissensfragen könnte man argumentieren, dass die Leistung von LLMs derzeit ein Plateau erreicht hat“, sagte Ion Stoica, Mitbegründer und Vorsitzender der Unternehmenssoftwarefirma Databricks, gegenüber The Information und fügte hinzu, dass „faktische Daten” nützlicher seien als synthetische Daten.

Auch die Rechenleistung, der andere Faktor, der in der Vergangenheit die Leistung von KI erhöht hat, ist nicht unbegrenzt. In einem Reddit AMA im vergangenen Monat räumte Altman ein, dass sein Unternehmen bei der Zuteilung seiner Rechenressourcen mit „vielen Einschränkungen und schwierigen Entscheidungen konfrontiert ist.

Kein Wunder, dass einige Branchenexperten feststellen, dass neue KI-Modelle, die in diesem Jahr auf den Markt kommen, und auch künftige, geringere Leistungssprünge aufweisen als ihre Vorgänger.

„Abnehmende Erträge

Gary Marcus, ein emeritierter Professor der New York University und unverblümter Kritiker des derzeitigen KI-Hypes, ist der Ansicht, dass die KI-Entwicklung an eine Grenze stoßen wird. Er hat Anzeichen für „abnehmende Erträge“ geäußert und reagierte auf die Berichterstattung von „The Information” mit einem Substack-Beitrag mit der Überschrift „BESTÄTIGT: LLMs haben tatsächlich einen Punkt abnehmender Erträge erreicht.

Als der OpenAI-Konkurrent Anthropic im Juni sein Modell Claude 3.5 veröffentlichte, wies Marcus einen X-Post zurück, der die Leistung von Claude 3.5 mit marginalen Verbesserungen gegenüber der Konkurrenz in Bereichen wie logisches Denken auf Hochschulniveau, Code und mehrsprachige Mathematik zeigte. Er sagte, es sei in der „gleichen Größenordnung wie viele andere.

Der Markt für Künstliche Intelligenz hat Milliarden von Dollar ausgegeben, um die Konkurrenz auszustechen, nur um den Beweis für eine „Konvergenz und nicht für ein fortgesetztes exponentielles Wachstum zu liefern, so Marcus.

Ilya Sutskever, einer der Mitbegründer von OpenAI und jetzt Safe Superintelligence, hat einen ähnlichen Gedanken geäußert. Am Montag, im Anschluss an den Bericht von „The Information“, erklärte er gegenüber Reuters, dass die Ergebnisse der Skalierung des Pre-Trainings ein Plateau erreicht hätten, und fügte hinzu: „Die richtige Skalierung ist jetzt wichtiger denn je.”

Die KI-Industrie wird weiterhin nach Möglichkeiten suchen, große Leistungssprünge zu erzielen. Anthropic-CEO Dario Amodei hat vorausgesagt, dass das Training von KI-Modellen im nächsten Jahr in eine neue Ära eintreten wird, in der es 100 Milliarden US-Dollar kosten könnte (rund 94 Millliarden Euro). Altman hat bereits gesagt, dass das Training von ChatGPT-4 mehr als 100 Millionen Dollar gekostet hat. Es bleibt abzuwarten, wie intelligent ein KI-Modell werden kann, wenn es mit so viel Kapital ausgestattet wird.

Skalierender Optimismus

Andere führende Köpfe im Silicon Valley, darunter auch Altman, äußern sich nach wie vor optimistisch über das derzeitige Skalierungspotenzial von KI. Im Juli wies Kevin Scott, Chief Technology Officer von Microsoft, die Befürchtung zurück, dass der Fortschritt bei der KI auf einem Plateau angelangt sei: „Entgegen der Meinung anderer Leute sind wir nicht an der Grenze der Skalierbarkeit angelangt, sagte Scott in einem Interview mit dem Training Data-Podcast von Sequoia Capital.

Es könnte auch Strategien geben, um KI-Modelle intelligenter zu machen, indem der Inferenzteil der Entwicklung verbessert wird. Inferenz ist die Arbeit, die geleistet wird, um KI-Ergebnisse zu verfeinern, nachdem sie trainiert wurden, indem Daten verwendet werden, die sie vorher nicht gesehen haben.

Das Modell, das OpenAI im September veröffentlichte – OpenAI o1 genannt – konzentrierte sich mehr auf Verbesserungen der Inferenz. Es übertraf seine Vorgänger bei komplexen Aufgaben und erreichte laut OpenAI bei Benchmark-Aufgaben in Physik, Chemie und Biologie ein ähnliches Intelligenzniveau wie Doktoranden.

Dennoch ist es klar, dass ein Großteil der Branche wie Altman fest davon überzeugt ist, dass die Skalierungsgesetze der Motor der KI-Leistung sind. Wenn künftige Modelle nicht überzeugen, ist mit einer Neubewertung des derzeitigen Booms zu rechnen.

Externer Inhalt nicht verfügbar

Sie haben ein contentpass-Abo, wollen aber trotzdem nicht auf die Anzeige externer Inhalte von Drittanbietern verzichten? Dann klicken Sie auf \“zustimmen\” und wir binden externe Inhalte und Dienste von ausgewählten Drittanbietern in unser Angebot ein, um Ihr Nutzungserlebnis zu verbessern. Eine aktuelle Liste ebendieser Drittanbieter können Sie jederzeit in der Privatsphäre (Link zu Privatsphäre) einsehen. In diesem Zusammenhang können auch Nutzungsprofile (u.a. aus Basis von Cookie-IDs) gebildet und angereichert, auch außerhalb des EWR. Ihre Einwilligung umfasst in diesem Fall auch die Übermittlung bestimmter personenbezogener Daten in Drittländer, u.a. die USA nach Art 49 Abs. 1 Buchst. a) DSGVO.

Weitere Details zur Datenverarbeitung finden Sie in unseren Datenschutzhinweisen sowie in der Privatsphäre, jeweils jederzeit im Footer unseres Angebotes verfügbar.