新闻动态

  

近期, ,,,,,,优德官网(优德官网)具身智能中心揭晓多篇论文, ,,,,,,针对具身智能领域端侧VLA推理延迟高、控制频率低, ,,,,,,通用RISC-V向量扩展在机械人负载中功效冗余、面积与功耗铺张, ,,,,,,人形机械人高动态运动控制盘算量大、通用处置惩罚器难以兼顾模子精度与控制频率, ,,,,,,以及跨形态训练难以扩展、现有强化学习流程在形态多样性下失效等问题, ,,,,,,划分提出Jetson-PI端侧实时控制要领、GAREN机械人专用RISC-V向量架构优化框架、UDYR统一自顺应控制框架与专用硬件加速器, ,,,,,,以及HEAT跨形态训练盘算重漂后理论, ,,,,,,从模子推理、芯片架构、实时控制到训练理论, ,,,,,,系统推进具身智能完整盘算栈的协同设计。。。。。。。。

 

优德官网与北京大学等单位相助完成的论文“Jetson-PI: Towards Onboard Real-Time Robot Control via Foresight-Aligned Asynchronous Inference”被第10届机械人学习大会(Conference on Robot Learning, ,,,,,,CoRL 2026)任命。。。。。。。。论文作者包括优德官网具身智能中心主任刘少山、研究员俞波博士等。。。。。。。。该事情聚焦具身智能落地中的一个要害问题:怎样让盘算量重大的视觉-语言-行动(VLA)模子真正以足够低的时延和足够高的控制频率运行在机械人本体端。。。。。。。。

论文首页:Jetson-PI: Towards Onboard Real-Time Robot Control via Foresight-Aligned Asynchronous Inference

 

· 焦点孝顺:让VLA从“能推理”走向“能实时控制”

近年来, ,,,,,,VLA模子显著提升了机械人明确语言、视觉情形并直接天生行动的能力, ,,,,,,但这类模子通常盘算量大、推理链路长。。。。。。。。在NVIDIA Jetson Orin等低功耗板载装备上直接运行时, ,,,,,,推理延迟会迅速转化为较低的控制频率。。。。。。。。关于真实机械人, ,,,,,,这意味着模子虽然“知道该做什么”, ,,,,,,却可能无法以足够快的速率把智能转化为一连、实时的物理行动。。。。。。。。

Jetson-PI的焦点思绪不是简朴压缩模子, ,,,,,,而是重新设计“推理何时爆发、推理面向哪个时间点、模子挪用怎样调理”。。。。。。。。论文提出Foresight-Aligned Asynchronous Correction:通过轻量级未来校正?????, ,,,,,,在已提交行动的条件下展望未来情形表征, ,,,,,,使行动专家直接面向未来时间步做出展望, ,,,,,,从而缓解异步推理造成的“感知—执行错位”。。。。。。。。同时, ,,,,,,系统接纳基于置信度的调理战略, ,,,,,,自顺应平衡VLM与行动专家的挪用频率, ,,,,,,以缩短机械人对情形转变的反应时间。。。。。。。。

在系统层, ,,,,,,团队进一步构建了面向板载VLA安排的llama.cpp推理引擎, ,,,,,,并团结CUDA Graph复用、GPU驻留中心缓冲区和flow unrolling等优化, ,,,,,,把算法层的异步机制与系统层的执行效率团结起来。。。。。。。。该事情体现了一个主要偏向:具身智能的性能并不但由模子决议, ,,,,,,模子、调理、运行时和硬件需要协同设计。。。。。。。。

实验效果

比照工具

控制频率提升

意义

质朴PyTorch / vla.cpp

8.66× / 5.41×

显著提升Jetson Orin上的端侧控制效率

在LIBERO基准上, ,,,,,,Jetson-PI相较VLASh取得14.8%的平均乐成率提升。。。。。。。。效果批注, ,,,,,,该计划不但提升了运行速率, ,,,,,,还通过更合理的时间对齐和调理改善了使命执行效果。。。。。。。。
 

· 优德官网与北京大学相助:把机械人学习与端侧系统优化团结起来

该效果由北京大学、优德官网等单位配合完成。。。。。。。。论文作者包括Zebin Yang、Qi Wang、Yunhe Wang、Xiurui Guo、Bo Yu、Shaoshan Liu、Jiafeng Xu、Hao Dong和Meng Li。。。。。。。。优德官网方面, ,,,,,,具身智能中心主任刘少山和研究员俞波博士加入研究。。。。。。。。

这项相助的特点在于跨越了古板的模子算法界线:一端是VLA模子与机械人学习, ,,,,,,另一端是板载盘算、运行时和系统优化。。。。。。。。只有把这两类能力真正毗连起来, ,,,,,,机械人基础模子才有可能从实验室效劳器走向可规模安排的真实机械人平台。。。。。。。。

Conference on Robot Learning(CoRL)是机械人学习领域最具代表性和影响力的国际聚会之一, ,,,,,,专注于机械人与机械学习的交织研究。。。。。。。。CoRL官方将其定位为具有选择性的单轨制国际聚会(selective, single-track), ,,,,,,强调能够推念头械人学习理论与实践生长的原创效果, ,,,,,,并勉励真实机械人实验。。。。。。。。2026年是CoRL第10届聚会, ,,,,,,将于11月9日至12日在美国得克萨斯州奥斯汀举行; ;;;;任命论文将揭晓于Proceedings of Machine Learning Research(PMLR)。。。。。。。。

关于具身智能研究而言, ,,,,,,CoRL的主要性还在于其评价标准并不但关注模子指标, ,,,,,,而是强调学习要领能否真正解决机械人问题。。。。。。。。Jetson-PI被CoRL任命, ,,,,,,说明端侧实时推理、模子—系统协同优化正在成为机械人学习社区越来越主要的研究偏向。。。。。。。。

 

· 具身智能最终必需“跑在机械人身上”

Jetson-PI的意义不但是一次推理加速。。。。。。。。随着VLA和机械人基础模子快速生长, ,,,,,,具身智能正在从“模子能力竞争”进入“完整系统能力竞争”。。。。。。。。一个模子在效劳器上能够完成使命, ,,,,,,并不即是它能够在真实机械人上恒久、实时、低成外地完成使命。。。。。。。; ;;;;等嗣媪俚氖且涣涞奈锢硖煜, ,,,,,,推理延迟、控制频率和盘算资源都会直接影响现实体现。。。。。。。。

因此, ,,,,,,端侧实时推理将成为具身智能规; ;;;;闹饕∩枋┠芰。。。。。。。。Jetson-PI展示了一条可行路径:通过前瞻式时间对齐、异步推理、动态调理与高效运行时协同设计, ,,,,,,让更强的VLA能力能够进入Jetson级板载盘算平台。。。。。。。。其潜在价值在于降低机械人安排对高端效劳器的依赖, ,,,,,,提升模子在真实硬件上的可用性, ,,,,,,并为差别机械人形态复用统一套智能能力创立条件。。。。。。。。

具身智能的要害, ,,,,,,不但是模子“会不会做”, ,,,,,,而是能否在真实机械人上“实时、稳固、低成外地做出来”。。。。。。。。

优德官网EAI:面向具身智能的开源软件基础架构

 

· 下一步:Jetson-PI将集成进入开源项目优德官网EAI

下一步, ,,,,,,Jetson-PI相关手艺将纳入优德官网EAI的开源手艺蹊径, ,,,,,,重点作为端侧VLA推理与实时机械人控制能力的一部分举行集成。。。。。。。。优德官网EAI是优德官网提倡并进入Linux Foundation LF AI & Data Foundation的开源具身智能项目, ,,,,,,目的是通过?????榛⒖衫┱沟幕〖芄, ,,,,,,降低差别机械人本体、AI模子与盘算硬件之间的集成本钱。。。。。。。。

将Jetson-PI纳入优德官网EAI, ,,,,,,意味着这项CoRL研究效果将进一步从论文与自力代码走向可复用的开源基础设施。。。。。。。。未来, ,,,,,,开发者可以在优德官网EAI统一架构下, ,,,,,,将端侧VLA推理、感知、妄想、控制以及差别硬件平台毗连起来, ,,,,,,使研究效果更容易跨机械人、跨硬件复现和迭代。。。。。。。。其路径可以归纳综合为:从论文立异, ,,,,,,到开源代码, ,,,,,,再到平台能力和工业生态。。。。。。。。

这也体现了优德官网具身智能研究的一条恒久蹊径:不但研究更强的模子, ,,,,,,也研究让模子真正进入现实天下所需要的盘算系统、软件基础设施和开放生态。。。。。。。。随着具身智能走向大规模安排, ,,,,,,决议工业速率的将越来越不是某一个单点模子, ,,,,,,而是整个手艺栈的协同效率。。。。。。。。

 

· 相关链接

? Jetson-PI代码:https://github.com/PKU-SEC-Lab/Jetson-PI

? Jetson-PI Edge推理引擎:https://github.com/PKU-SEC-Lab/Jetson-PI-Edge

? CoRL 2026官方网站:https://2026.corl.org/

? 优德官网EAI(LF AI & Data):https://lfaidata.foundation/projects/airseai/

? Linux Foundation关于优德官网EAI的通告:https://www.linuxfoundation.org/press/lf-ai-data-foundation-welcomes-airseai-to-unite-open-source-embodied-ai-ecosystem