コンテキストが増えたからといって、LLM のパフォーマンスが向上するわけではありません。 ケリー・ホン(@kellyhongsn)の研究は、「コンテキスト腐敗」がフロンティアモデルでも起こることを示しています。入力長が長くなるとパフォーマンスが低下します。 その秘密は?コンテキストエンジニアリングは、コンテキストウィンドウのサイズよりも重要です。