更多的上下文并不意味着更好的 LLM 性能。 Kelly Hong(@kellyhongsn)的研究表明,即使在前沿模型中也会发生 "上下文衰退"。随着输入长度的增加,性能会下降。 秘密是什么?上下文工程比上下文窗口大小更重要。