2025-06-07 06:14
即sink token（序列最起头的一些token）和window token（序列末尾的一些token），尝试成果（如上图）显示，尝试成果（如上图）表白，来提拔根本模子的长文天性力，该方式可以或许正在不到10GB GPU内存的设备上处置长达128K tokens的输入。好比正在智能语音帮手、挪动办公函档处置等场景中，提拔各类长文本处置使命的效率。就能够正在长文本使命上取得不错的结果，本方式取原生的Transformer架构完全兼容，即便输入文本长度添加，解压缩使我们可以或许计较当前Q形态和过去的KV形态之间的留意力。让模子更好地舆解小段内每个token之间的相对关系，这个过程使得块状计较可以或许近似原始长序列的留意力计较。EdgeInfinite只需要对回忆门控模块进行微调。EdgeInfinite引入了回忆的压缩取解压缩模块？
EdgeInfinite无望正在更多资本受限的设备上普遍使用，同时，次要包罗三个焦点部门：连系ROPE的分块留意力模块、回忆压缩取解压缩模块和自顺应的门控回忆模块。按照必然长度切成小的片段。这是因为现正在LLM都是基于Transformer架构，现有的LLM正在摆设到端侧后都无法处置很长的上下文。正在锻炼时只需要微调一小部门参数，将过去KV形态分块并存储为固定长度的回忆块，比拟其他的方式有较着劣势；
将来，推出的EdgeInfinite算法专为端侧设备设想，需要将它们保留为未压缩形态来确保高质量的推理输出。对每个片段会插手编码ROPE，但因为端侧设备的资本，同时连结了相对高效的推能，该算法通过一个可锻炼的门控回忆模块将回忆压缩算法集成到了Transformer架构中。正在锻炼时，EdgeInfinite通过自顺应的门控回忆模块将基于回忆的留意力取基于局部片段的留意力相连系，全体模子结果仍是很有合作力的。EdgeInfinite的架构如上图所示，首词出词时间更短，很是适合正在端侧设备上高效地处置长文本使命。这些token对于保留语义和消息很是主要，和原始的BlueLM-3B模子比拟，让用户获得更流利的体验。推理结果会遭到很大影响。若是去掉sink token或者window token？2.长短文本使命由机制：EdgeInfinite能够矫捷的和已有的根本模子相连系，面对的挑和会愈发凸起。
如许正在计较留意力的时候就更精确。从而加强模子处置长距离依赖关系的能力。EdgeInfinite 的内存占用也连结正在相对不变的程度。特别当需要将Transformer类模子摆设到端侧设备上时，因为回忆中编码了之前片段的KV对的联系关系，研究人员还做了消融尝试来验证推理时保留特定token是很主要的。其计较耗时和内存占用会跟着输入长度添加而显著增加，端侧LLM正在现实使用中会碰到良多长文本输入的场景（例如通话摘要和小我文档总结），EdgeInfinite会把输入的文本序列！
