大语言模型(LLMs)如GPT和BERT已经彻底改变了自然语言处理(NLP)领域,推动了从文本摘要、翻译到对话系统和检索增强框架的广泛应用。这些模型在理解和生成类人内容方面展现了非凡的能力。然而,传统的LLM架构在处理长文本序列时常常面临内存和计算限制,以及处理长输入序列中位置信息的能力不足。这些瓶