Warum Sie aufhören sollten, an der RL-Forschung zu arbeiten, und stattdessen am Produkt arbeiten sollten // Die Technologie, die die große Skalierungsverschiebung in der KI ausgelöst hat, ist das Internet, nicht die Transformatoren Ich denke, es ist allgemein bekannt, dass Daten das Wichtigste in der KI sind, und auch, dass Forscher sich sowieso dafür entscheiden, nicht daran zu arbeiten. ... Was bedeutet es, (skalierbar) mit Daten zu arbeiten? Das Internet bot eine reichhaltige Quelle an reichlich vorhandenen Daten, die vielfältig war, einen natürlichen Lehrplan bot, die Kompetenzen repräsentierte, die den Menschen tatsächlich wichtig sind, und eine wirtschaftlich tragfähige Technologie war, die in großem Maßstab eingesetzt werden konnte – es wurde zur perfekten Ergänzung zur Next-Token-Vorhersage und war die Ursuppe für den Durchbruch der KI. Ohne Transformatoren hätten sich beliebig viele Ansätze durchsetzen können, wir hätten wahrscheinlich CNNs oder Zustandsraummodelle auf dem Niveau von GPT-4.5 haben können. Aber seit GPT-4 hat es keine dramatische Verbesserung bei den Basismodellen gegeben. Argumentationsmodelle sind großartig in engen Bereichen, aber kein so großer Sprung wie GPT-4 im März 2023 (vor über 2 Jahren...) Wir haben etwas Großartiges mit Reinforcement Learning, aber meine tiefe Befürchtung ist, dass wir die Fehler der Vergangenheit (RL der Ära 2015-2020) wiederholen und RL-Forschung betreiben, die keine Rolle spielt. In der Art und Weise, wie das Internet das Duale des überwachten Vortrainings war, was wird das Duale von RL sein, das zu einer massiven Weiterentwicklung wie GPT-1 -> GPT-4 führen wird? Ich denke, es sieht nach Co-Design von Forschung und Produkt aus.