無限コンピューティングでの事前トレーニング • コンピューティングではなくデータが新たなボトルネック • 標準レシピは、強力な正則化(30×重量減衰)でオーバーフィット→修正します。 • スケーリング法則: 損失は単調に減少し、固定予算ではなく漸近線で測定するのが最適です