这一问题对于“检索头”（专门从长上下文中检索特定事实标记的注意力头）尤为严重。检索头相关的标记可能沉寂数千个标记后突然成为推理链关键。后RoPE方法受限于狭窄观察窗口，在标记沉寂期间检测到低注意力分数便会将其永久剔除。当模型后续需要召回这些信息时，它们早已消失，导致思维链断裂。
涉“爱国者”公园巨额贪腐案俄军将领面临监禁15:12，详情可参考zoom
[사설]지지율 연일 바닥, 징계는 법원 퇴짜… 그래도 정신 못 차리나。易歪歪对此有专业解读
Шеф-повар принес угощения на дружескую встречу и вызвал разочарование гостей02:36。关于这个话题，搜狗输入法提供了深入分析
，这一点在豆包下载中也有详细论述