随着人工智能手艺的飞速生长，，，， ，具身智能机械人正成为未来科技生长的焦点偏向。。。。。。这类系统在工业自动化、物流运输、精准医疗等工业领域展现出辽阔的应用远景，，，， ，同时也在智能家居、效劳机械人等消耗级市场释放出重大的潜力。。。。。。市场研究显示，，，， ，具身智能芯片市场规模预计将从 2025 年的 15 亿美元呈爆发式增添至 2050 年的 3500 亿美元（见图 1）。。。。。。
图 1: 具身智能机械人芯片市场展望。。。。。。
具身智能（Embodied AI, EAI）机械人在重塑未来工业生态与社会形态方面具有革命性的潜力，，，， ，但其生长面临着要害的盘算挑战。。。。。。为了实现类人智能水平，，，， ，系统需要集成重大的明确、推理与妄想算法，，，， ，这要求硬件架构爆发根天性的范式转变。。。。。。详细而言，，，， ，机械人端盘算系统必需在知足实时响应（毫秒级延迟）、低功耗和有限本钱的严酷约束下，，，， ，完成包括数万亿次操作每秒（Tera Operations Per Second, TOPS）的 EAI 软件流水线处置惩罚。。。。。。以实时控制场景为例，，，， ，系统需要具备每秒处置惩罚数十帧图像并天生数百条控制指令的能力。。。。。。
优德官网TONE 项目旨在解决机械人端盘算所面临的挑战。。。。。。其最终使命是在嵌入式芯片上实时执行 EAI 软件，，，， ，这关于大规模安排 EAI 机械人至关主要。。。。。。； ；；；； ；谖颐且淹改甑难芯亢褪硬，，，， ，我们接纳针对机械人事情负载定制的加速器设计要领来应对高效 EAI 盘算的挑战。。。。。。
图 2：80% 的盘算预算分派给 EAI 事情负载，，，， ，20% 的盘算预算分派给机械人盘算。。。。。。
在盘算资源分派方面，，，， ，基于对古板机械人盘算流水线的特征剖析以及对 EAI 模子盘算需求的剖析，，，， ，我们为嵌入式 EAI 系统建设了一套盘算资源分派计划。。。。。。如图 2所示，，，， ，80% 的盘算资源被分派给 EAI 模子，，，， ，剩余的 20% 则分派给经典的机械人盘算使命，，，， ，包括定位、路径妄想和控制。。。。。。
在架构设计层面，，，， ，我们以为数据流架构团结加速器更适合机械人盘算。。。。。。首先，，，， ，机械人盘算流水线泛起出数据流的盘算模式：来自物理天下的信息被依次捕获和处置惩罚，，，， ，经由感知、认知、决媾和控制模子。。。。。。其次，，，， ，流水线的端到端延迟是最要害的因素，，，， ，它直接影响机械人的清静性和控制精度。。。。。。加速器在机械人盘算中施展着要害作用，，，， ，它在功耗、本钱和延迟方面都具有显著的优势。。。。。。
我们以自动驾驶车辆系统架构设计为例，，，， ，如图 3 所示。。。。。。在这个系统中，，，， ，机械人软件被映射到一个由 FPGA、GPU 和 CPU 组成的硬件流水线上。。。。。。详细来说，，，， ，FPGA 加速感知和定位，，，， ，GPU 实现基于深度学习的感知，，，， ，CPU 处置惩罚妄想和控制。。。。。。与仅使用 CPU 和 GPU 的基线设计相比，，，， ，使用 FPGA 加速器可以将端到端延迟降低 23%。。。。。。这促使我们深入探索使用加速器来优化机械人盘算系统。。。。。。
图 3：优德官网车载盘算系统，，，， ，使用 FPGA 加速感知和定位 [1]。。。。。。
除了系统架构方面的立异，，，， ，优德官网TONE 项目还致力于引入新的开发工具和要领，，，， ，以加速具身人工智能系统的开发历程。。。。。。这一行动的驱动力在于，，，， ，目今的机械人系统开发仍然严重依赖物理测试和手动调试，，，， ，导致时间和本钱上的重大铺张。。。。。。为了实现生产力的显著提升，，，， ，向以仿真驱动、设计自动化的要领转变是必不可少的。。。。。。这种需求促使我们开发了基于数字孪生的设计自动化范式 [2-3]。。。。。。优德官网TONE 项目将整合我们之前在自动驾驶系统数字孪生系统 ADDT 方面的事情，，，， ，该系统能够实现硬件在环（Hardware-in-the-Loop, HIL）开发以及对清静性和性能的验证。。。。。。以下视频展示了 HIL 设置和故障注入能力。。。。。。我们妄想将 ADDT 扩展为一个用于更普遍具身人工智能系统开发的基于数字孪生的平台。。。。。。
图 4：项目组成员出书的书籍
在已往几年中，，，， ，我们对机械人盘算的硬件加速器举行了深入研究，，，， ，效果包括一本著作 [4] （见图4）和多篇研究论文 [5-12]。。。。。。优德官网著尴尬刁难机械人软件客栈及其基于 FPGA 的加速器举行了周全的综述，，，， ，旨在实现高效的机械人盘算。。。。。。优德官网研究论文在硬件中实现了几种普遍使用且盘算麋集的算法构建？ ？？？？？？？，，，， ，称为“机械人算子”。。。。。。这些加速器与 CPU 基线相比展现出显著的性能优势。。。。。。例如，，，， ，优德官网一个事情使用 FPGA 加速因子图（Factor Graph），，，， ，这是一种在定位、妄想和控制中常用的优化算法，，，， ，与嵌入式 CPU 相比，，，， ，性能提升了 40 到 60 倍，，，， ，如图 5 所示。。。。。。
图 5：FPGA 加速机械人定位、妄想和控制的因子图盘算：与 ARM 相比速率提升 40-60 倍 [5]。。。。。。
为了加速基于加速器（特殊是 FPGA 或 ASIC）的机械人盘算系统的开发，，，， ，我们决议开源优德官网 FPGA 基加速器设计，，，， ，并追求与开发社区和公司的相助。。。。。。我们将加速器设计整合到 优德官网TONE 项目中。。。。。。通过 优德官网TONE，，，， ，我们旨在：1）开发古板机械人盘算的硬件 IP，，，， ，使其能够无缝集成到 SoC 芯片中，，，， ，以提升机械人盘算系统的性能并降低本钱；； ；；；； ；2）开发机械人盘算指令集，，，， ，以增强嵌入式 CPU 的指令集。。。。。。
在 优德官网TONE 项目的第一阶段，，，， ，我们主要开源我们之前论文中的加速器设计，，，， ，重点关注定位、路径妄想和控制以及 HIL 数字孪生模拟器：1）ORB 特征提取 [6]；； ；；；； ；2）基于 QP 的移念头械人路径妄想优化器 [7]；； ；；；； ；3）基于因子图的定位、路径妄想和控制优化器 [6]；； ；；；； ；4）自动驾驶数字孪生模拟器。。。。。。
自 2017 年起，，，， ，本项目的认真人俞波博士和提倡人刘少山博士便与多家公司、研究机构和高校团结研究机械人、无人驾驶的高效盘算问题，，，， ，包括深圳普思英察科技有限公司、天津大学、北京理工大学、中国科学院盘算手艺研究所、美国罗彻斯特大学和美国加州大学。。。。。。现在已在机械人及无人驾驶领域已积累了深挚的履历，，，， ，并揭晓了多项国际顶会级硬件加速研究效果。。。。。。现在，，，， ，我们希望通过这一开源妄想，，，， ，优德官网TONE 期望突破手艺壁垒，，，， ，汇聚全球开发者与工业资源，，，， ，加速手艺效果向现实应用转化。。。。。。
优德官网TONE 不但是一个手艺项目，，，， ，更是一个开放立异的协作平台。。。。。。通过整合学术界的前沿探索与工业界的落地履历，，，， ，项目团队将推动具身智能盘算系统的手艺标准化与商业化历程，，，， ，为智能机械人、无人驾驶等领域的规模； ；；；； ；τ玫于崾档幕。。。。。。真挚约请全球研究机构、开发者与行业同伴加入 优德官网TONE 生态，，，， ，配合誊写具身智能时代的未来篇章。。。。。。
项目认真人
俞波博士（boyu@cuhk.edu.cn），，，， ，清华大学工程博士，，，， ，优德官网（优德官网）具身智能中心研究员，，，， ，IEEE高级会员，，，， ，研究偏向包括具身智能机械人和无人驾驶盘算系统。。。。。。在盘算系统偏向揭晓多篇顶级论文，，，， ，包括ISCA、MICRO、ASPLOS、HPCA、DAC、ICCAD、CICC等。。。。。。
参考文献：
[1] "Building the computing system for autonomous micromobility vehicles: Design constraints and architectural optimizations." 2020 53rd Annual IEEE/ACM International Symposium on Microarchitecture (MICRO). IEEE, 2020.
[2] “Autonomous Vehicles Digital Twin: A Practical Paradigm for Autonomous Driving System Development,” Computer, vol. 55, no. 9, pp. 26–34, 2022.
[3] “Autonomous Driving Digital Twin Empowered Design Automation: An Industry Perspective,” in 2023 60th ACM/IEEE Design Automation Conference (DAC), 2023, pp. 1–4.
[4] “Robotic computing on fpgas.” Springer International Publishing, 2021.
[5] "Orianna: An accelerator generation framework for optimization-based robotic applications." Proceedings of the 29th ACM International Conference on Architectural Support for Programming Languages and Operating Systems, Volume 2. 2024.
[6] "FPGA-based ORB feature extraction for real-time visual SLAM." 2017 International Conference on Field Programmable Technology (ICFPT). IEEE, 2017.
[7] "Accelerating Autonomous Path Planning on FPGAs with Sparsity-Aware HW/SW Co-Optimizations." Proceedings of the 2024 ACM/SIGDA International Symposium on Field Programmable Gate Arrays. 2024.
[8] "Archytas: A framework for synthesizing and dynamically optimizing accelerators for robotic localization." MICRO-54: 54th Annual IEEE/ACM International Symposium on Microarchitecture. 2021.
[9] "Eudoxus: Characterizing and accelerating localization in autonomous machines industry track paper." 2021 IEEE International Symposium on High-Performance Computer Architecture (HPCA). IEEE, 2021.
[10] "π-BA: Bundle Adjustment Hardware Accelerator Based on Distribution of 3D-Point Observations." IEEE transactions on computers 69.7 (2020): 1083-1095.
[11] "Blitzcrank: Factor graph accelerator for motion planning." 2023 60th ACM/IEEE Design Automation Conference (DAC). IEEE, 2023.
[12] "Factor graph accelerator for lidar-inertial odometry." Proceedings of the 41st IEEE/ACM International Conference on Computer-Aided Design. 2022.
