Rich Suttonは、The Bitter Lesson以来、AIに関する最も重要なエッセイ「Welcome to the Era of Experience」を発表しました。 サットン氏と彼の指導教官であるシルバー氏は、教師ありの事前学習と人間からのRLフィードバックが支配する「人間データの時代」が、収穫逓減に見舞われていると主張しています。未来は、 — 現実の世界で、またはシミュレートされた世界で継続的に行動し、 — インタラクションを通じて独自のトレーニングデータを生成し、ラベル付けします — 人間の好みだけでなく、環境に基づいた報酬を最適化します。 — 生涯にわたる経験の流れを通じて、彼らの世界モデルと計画を洗練させます。