Nhiều ngữ cảnh hơn không có nghĩa là hiệu suất LLM tốt hơn. Nghiên cứu của Kelly Hong (@kellyhongsn) cho thấy "sự suy giảm ngữ cảnh" xảy ra ngay cả trong các mô hình tiên tiến. Hiệu suất giảm khi độ dài đầu vào tăng lên. Bí mật? Kỹ thuật ngữ cảnh quan trọng hơn kích thước cửa sổ ngữ cảnh.