Google Research·· 2 小时前精选AI 评分61
Google Research 提出睡眠框架：一种让大语言模型在持续学习中保留知识的新方法
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google Research 提出了一种受人类睡眠启发的持续学习框架，让大语言模型通过交替的“清醒”和“睡眠”阶段来持续学习并避免灾难性遗忘。该框架通过参数扩展、知识蒸馏和“梦境”自改进循环，在 BABILong 基准上实现了对长达 10M token 上下文的近乎完美理解，并在 SQuAD、AIME 等基准上提升了事实知识整合与数学推理能力。
推荐理由
原文提出了一个受人类睡眠启发的持续学习框架，并给出了其在长上下文理解、事实知识整合和数学推理上的具体性能数据。
来源：Google Research · research.google