智能体一遇到没见过的使命就“卡壳”，，，，，，，，焦点问题着实是训练数据太“偏科”，，，，，，，，场景局限、使命类型少。。。。。优德官网在上下文强化学习领域提出破局新计划：依赖自动天生多样重大使命，，，，，，，，补上 “训练题”不敷多样的短板；；；；；并提出高效解耦战略蒸馏框架，，，，，，，，有用引发模子上下文强化学习能力。。。。。研究还带来新启发：随着训练集使命种类增添，，，，，，，，模子会从“死记谜底”转向“就地解题”以及“学会怎样学习”；；；；；评估在线学习智能体也得换思绪，，，，，，，，要看在开放天下使命中的长上下文体现，，，，，，，，而非关闭使命集上的零样本能力。。。。。

• 泛化性缺乏？？？？？泉源在于“训练题”不敷用 。。。。。“给智能体1000种使命，，，，，，，，它能学好1000个；；；；；换一种新使命，，，，，，，，立马‘手足无措’。。。。。”这是目今大模子、具身智能领域普遍保存的逆境。。。。。现在训练智能体基座模子的普遍逻辑是依赖规模取胜，，，，，，，，通过富集海量训练数据来优化模子。。。。。然而，，，，，，，，这类数据通常具有很强的场景属性，，，，，，，，好比导航使命和运动控制使命的数据漫衍很难有重叠，，，，，，，，它们笼罩的规模是离散且有限的。。。。；；；；；痪浠八，，，，，，，，想要智能体具备跨使命、跨场景的泛化能力，，，，，，，，除了数据量要大，，，，，，，，更需要数据类型足够多样。。。。。

• “自动出题” 解决 “死记硬背” 问题：让模子掌握学习要领。。。。。智能体的学习历程堪比学生备考：想考高分，，，，，，，，既要有足量的习题，，，，，，，，又要阻止重复刷题导致的“头脑固化”；；；；；与其记着某道题的解法，，，，，，，，更主要的是学会怎样剖析问题、见招拆招。。。。。论文提出“AnyMDP”使命集，，，，，，，， 基于马尔可夫链构建开放的强化学习使命集，，，，，，，，通过完全随机天生与筛选机制，，，，，，，，既保存了使命之间的多样性，，，，，，，，也包管了问题的难度和挑战性。。。。。实验效果批注，，，，，，，，在训练数据量相同的情形下，，，，，，，，随着使命种类从100种增添到10万多种，，，，，，，，基座模子在未知使命上的泛化能力逐渐增强。。。。。 这说明，，，，，，，，要使智能体从死记硬背的权重学习模式（In-Weight Learning，，，，，，，，IWL）转变为无邪运用上下文学习（In-Context Learning，，，，，，，，ICL），，，，，，，，使命的数目和规模至关主要。。。。。

  

• 重大上下文推理只能通过腾贵的强化学习引发？？？？？提出替换强化学习的解耦合战略蒸馏（Decoupled Policy Distillation，，，，，，，，DPD）计划 。。。。。论文提出了多用途的上下文强化学习（ICRL）算法框架，，，，，，，，除了训练规模涉及上百亿Token，，，，，，，，序列更是抵达了数十万序列长度。。。。。ICRL的引发通常需要依赖强化学习预训练自己，，，，，，，，效率极低。。。。。使用“自动出题”的“谜底已知”的特点，，，，，，，，文章提出相识耦战略蒸馏计划，，，，，，，，不需要强化学习，，，，，，，，只需在随机扰动的轨迹上逐帧提供指导，，，，，，，，性能显著好于其他战略蒸馏要领。。。。。

  

• 单个基座模子不但能举行在线强化学习，，，，，，，，还能凭证提醒自主切换到离线强化学习或模拟学习，，，，，，，，从而实现高度无邪的自主学习。。。。。古板强化学习通常需要为每种学习方法设计差别的目的函数，，，，，，，，而该模子在多种学习模式下都能抵达甚至逾越古板要领的效果。。。。。这使得智能体能够完全凭证上下文自主选择学习模式，，，，，，，，极大地扩展了其通用性潜力。。。。。

  
• 迈向规；；；；；那短籽埃╪ested learning）和学会怎样学习（learning to learn）。。。。。嵌套学习的实质是训练模子不但是为了影象特定的知识，，，，，，，，更是为了获得学习能力自己。。。。。优德官网的研究甚至批注，，，，，，，，训练数据的绝瞄准确性未必是要害，，，，，，，，数据的长度，，，，，，，，序列内一连性和序列间多样性可能更为主要。。。。。即便接纳异常随机的情形使命和大宗禁绝确的合成数据，，，，，，，，模子也可能通过掌握学习能力，，，，，，，，在真实使命中通过履历重新掌握准确的知识。。。。。该事情还证实，，，，，，，，线性注重力模子能够轻松实现对数十万长度序列的上下文学习，，，，，，，，这有望极大地扩展上下文学习的能力界线。。。。。

论文链接：https://arxiv.org/abs/2502.02869

相关代码：https://github.com/airs-cuhk/airsoul/tree/main/projects/OmniRL