M+框架登场：增加LLM隐空间记忆，摆脱上下文限制
近日，机器之心Pro发布消息，M+框架问世，它增加了LLM隐空间记忆，不再受上下文窗口限制。该论文第一作者Yu Wang来自加州大学圣地亚哥分校，于2024年在MIT - IBM Waston Lab实习时完成论文，通讯作者Zexue He同样毕业于该校。
M+是基于MemoryLLM提出的长期隐空间记忆扩展框架。它把“过期”隐藏向量写入CPU侧长期记忆池，再用协同检索器拉回最相关记忆，将8B级模型的有效记忆跨度从不到20k tokens提升到160k tokens以上，同时显存占用不变。论文标题为“M+: Extending MemoryLLM with Scalable Long - Term Memory”，相关论文、代码仓库及开源模型都有公布。
目前上下文窗口不能直接等同于记忆，现有主流的“Token - Level Memory”做法虽有不错性能，但存在冗余、冲突难解、多模态能力弱等问题。所以，探索隐空间的Memory很有必要。
M+在MemoryLLM基础上，为8B的Llama3模型引入约1.67B的Memory。设计MemoryLLM时，在每一层加入N个Memory Tokens。其关键改进是Long - Term Memory，把更新过程中“丢弃”的Memory Token保存到长期记忆池，并提出协同提取器与全模型联合训练，提升了模型有效记忆跨度且不显著增加GPU负担。
实验结果显示，M+在性能提升、信息留存能力方面表现出色。M+展示了在隐空间长期记忆领域的重要进展，为下一代语言模型提供技术支撑，未来将继续探索更高效存储机制等。
