基于多评论家模仿学习的人形机器人运动技能生成方法

doi:10.3901/JME.260393

机械工程学报 ›› 2026, Vol. 62 ›› Issue (11): 191-200.doi: 10.3901/JME.260393

• 机器人及机构学 • 上一篇

扫码分享

基于多评论家模仿学习的人形机器人运动技能生成方法

邵士博¹, 林诚然², 杜国锋¹, 李俊年¹, 曹政才²

1. 北京化工大学信息科学与技术学院北京 100029;
2. 哈尔滨工业大学机器人技术与系统全国重点实验室哈尔滨 150006

收稿日期:2025-11-04 修回日期:2026-03-13 发布日期:2026-07-29
作者简介:邵士博,男,1997年出生,博士研究生。主要研究方向为足式机器人运动控制。E-mail:shaosb97@gmail.com;曹政才(通信作者),男,1974年出生,博士,教授,博士研究生导师。主要研究方向为人工智能算法、机器人具身智能和人形机器人。E-mail:caozc@hit.edu.cn
基金资助:
黑龙江省自然科学基金(ZD2024E003)、国家自然科学基金(52535001)、航空科学基金(2025L015077001)和北京市自然科学基金(L243004)资助项目。

Whole-body Motion Skills Generation for Humanoid Robots Based on Multi-critic Actor Imitation Learning

SHAO Shibo¹, LINChengran², DU Guofeng¹, LI Junnian¹, CAO Zhengcai²

1. College of Information Science and Technology, Beijing University of Chemical Technology, Beijing 100029;
2. State Key Laboratory of Robotics and Systems, Harbin Institute of Technology, Harbin 150006

Received:2025-11-04 Revised:2026-03-13 Published:2026-07-29

摘要/Abstract

摘要： 人形机器人的运动能力是其实现复杂行为和执行多种任务的重要基础。现有运动控制方法在仿真环境中虽表现良好，但由于人形机器人具有高自由度、强耦合的特性，在面对现实世界的动力学差异、传感器噪声等挑战时，其运动技能的模仿精度与实物迁移稳定性均难以保证。为此，提出一种基于多评论家(Multi-critic actor)模仿学习的人形机器人运动技能学习方法。首先，设计基于动作复杂度指标的难度感知课程学习策略，使机器人能够从多样化动作数据中逐步学习复杂运动技能；其次，引入多评论家—演员网络结构，在提升对原始动捕数据模仿精度的同时，有效平衡动作模仿精确性与仿真到现实的迁移能力。实验结果表明，该方法在宇树G1机器人平台上实现了高精度动作模仿，并成功将仿真环境中学习到的运动技能零样本迁移至真实机器人，验证了所提方法在真实场景中的有效性与泛化能力。

关键词: 人形机器人, 多评论家模仿学习, 运动控制

Abstract: Whole-body motion skills are fundamental for humanoid robots to achieve complex behaviors and perform diverse tasks. Although existing motion control methods perform well in simulation, transferring them to the real world remains challenging. Humanoid robots typically have high degrees of freedom and strong dynamic coupling. As a result, accurate motion imitation and stable sim-to-real transfer are difficult to achieve under dynamics discrepancies and sensor noise. To address these issues, this research proposes a humanoid motion skill learning method based on multi-critic actor imitation learning. First, a difficulty-aware curriculum learning strategy based on a motion complexity metric is designed, enabling the robot to progressively learn complex motion skills from diverse motion datasets. Then, a multi-critic actor network architecture is introduced to improve the fidelity of imitation to motion capture data while balancing motion imitation accuracy and sim-to-real transfer capability. Experimental results show that the proposed method achieves high-precision motion imitation on the Unitree G1 humanoid robot. Motion skills learned in simulation are successfully transferred to the real world in a zero-shot setting. This demonstrates the effectiveness and generalization capability of the proposed method in real-world scenarios.

Key words: humanoid robots, multi-critic actor imitation learning, motion control

中图分类号:

TG242

邵士博, 林诚然, 杜国锋, 李俊年, 曹政才. 基于多评论家模仿学习的人形机器人运动技能生成方法[J]. 机械工程学报, 2026, 62(11): 191-200.

SHAO Shibo, LINChengran, DU Guofeng, LI Junnian, CAO Zhengcai. Whole-body Motion Skills Generation for Humanoid Robots Based on Multi-critic Actor Imitation Learning[J]. Journal of Mechanical Engineering, 2026, 62(11): 191-200.

导出引用管理器 EndNote|Reference Manager|ProCite|BibTeX|RefWorks

链接本文: http://www.cjmenet.com.cn/CN/10.3901/JME.260393

http://www.cjmenet.com.cn/CN/Y2026/V62/I11/191

参考文献

[1] SFERRAZZA C，HUAND D，LIN X，et al. Humanoid-bench：Simulated humanoid benchmark for whole-body locomotion and manipulation[EB/OL]. arXiv，2024. arXiv：2403.10506. https：//arxiv.org/ abs/2403.10506.
[2] CHEN Z，JI M，CHENG X，et al. Gmt：General motion tracking for humanoid whole-body control[EB/OL]. arXiv，2025. arXiv：2506.14770. https：//arxiv.org/abs/ 2506.14770.
[3] XU M，SHI Y，YIN K K，et al. Parc：Physics-based augmentation with reinforcement learning for character controllers[C]// Proceedings of the Special Interest Group on Computer Graphics and Interactive Techniques Conference. New York，NY，United States：Association for Computing Machinery. 2025：1-11.
[4] YUAN M，YU T，GE W，et al. A Survey of behavior foundation model：Next-generation whole-body control system of humanoid robots[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2025(1)：1-20.
[5] ZE Y，CHEN Z，ARAUJO J P，et al. TWIST：Teleoperated whole-body imitation system[C]// Proceedings of the Conference on Robot Learning. Seoul，Korea：PMLR，2025：2143-2154.
[6] BARREIROS J A，ÖNOL A Ö，ZHANG M，et al. Learning contact-rich whole-body manipulation with example-guided reinforcement learning[J]. Science Robotics，2025，10(105)：eads6790.
[7] JI M，PENG X，LIU F，et al. Exbody2：Advanced expressive humanoid whole-body control[EB/OL]. arXiv，2024.arXiv：2412.13196. https：//arxiv.org/abs/2412. 13196.
[8] RAMOS J，KIM S. Dynamic locomotion synchronization of bipedal robot and human operator via bilateral feedback teleoperation[J]. Science Robotics，2019，4(35)：eaav4282.
[9] DALLARD A，BENALLEGUE M，KANEHIRO F，et al. Synchronized human-humanoid motion imitation[J]. IEEE Robotics and Automation Letters，2023，8(7)：4155-4162.
[10] KOSEKI S，MOHSENI O，OWAKI D，et al. Concerted control：Modulating joint stiffness using GRF for gait generation at different speeds[J]. IEEE Robotics and Automation Letters，2025，10(4)：3446-3453.
[11] 杜国锋，邵士博，李尚霖，等. 融合视觉语言模型与近端策略优化算法的人形机器人步态切换方法[J]. 机械工程学报，2025，61(21)：204-212. DU Guofeng，SHAO Shibo，LI Shanglin，et al. Gait switching method for humanoid robot integrating vision-language[J]. Journal of Mechanical Engineering，2025，61(21)：204-212.
[12] 钟沛成，骆德渊，庞明君. 基于深度强化学习的四足机器人跟随策略研究及系统实现[J]. 机械工程学报，2023，59(13)：79-88. ZHONG Peicheng，LUO Deyuan，PANG Mingjun. Research and system implementation of quadruped robot following strategy based on deep reinforcement learning[J]. Journal of Mechanical Engineering，2023，59(13)：79-88.
[13] 陈词，余纪宇，李超，等. 基于预训练―微调框架的四足机器人结构―控制协同设计[J]. 机器人，2025，47(5)：625-635. CHEN Ci，YU Jiyu，LI Chao，et al. Structure-control co-design of quadruped robots based on pre-training- fine-tuning framework[J]. Robot，2025，47(5)：625-635.
[14] LI Y，ZHENG L，WANG Y，et al. Impedance learning-based adaptive force tracking for robot on unknown terrains[J]. IEEE Transactions on Robotics，2025，41：1404-1420.
[15] WU F，NAL X，JANG J，et al. Learn to teach：Sample-efficient privileged learning for humanoid locomotion over real-world uneven terrain[J]. IEEE Robotics and Automation Letters，2025，10(9)：9048-9055.
[16] CAO Z，LI J，SHAO S，et al. Siamese adaptive network-based accurate and robust visual object tracking algorithm for quadrupedal robots[J]. IEEE Transactions on Cybernetics，2025，55(3)：1264-1276.
[17] MA Y，CRAMARIUC A，FARSHIDIAN F，et al. Learning coordinated badminton skills for legged manipulators[J]. Science robotics，2025，10(102)：eadu3922.
[18] HWANGBO J，LEE J，DOSOVITSKIY A，et al. Learning agile and dynamic motor skills for legged robots[J]. Science Robotics，2019，4(26)：eaau5872.
[19] MARGOLIS G B，YANG G，PAIGWAR K，et al. Rapid locomotion via reinforcement learning[J]. The International Journal of Robotics Research，2024，43(4)：572-587.
[20] Unitree. Unitree G1：Humanoid agent AI Avatar[EB/OL]. [2024]. https：//www.unitree.com/g1.
[21] MAHMOOD N，GHORBANI N，TROJE N F，et al. AMASS：Archive of motion capture as surface shapes[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. Archive of Motion Capture as Surface Shapes，2019：5442-5451.
[22] SCHULMAN J，WOLSKI F，DHARIWAL P，et al. Proximal policy optimization algorithms[EB/OL]. arXiv，2017. arXiv：1707.06347，https：//arxiv.org/abs/1707. 06347.
[23] SCHULMAN J，MORITZ P，LEVINE S，et al. High-dimensional continuous control using generalized advantage estimation[EB/OL]. arXiv，2015. arXiv：1506.02438，https：//arxiv.org/abs/1506.02438.
[24] FU Y，XIE F，XU C，et al. DemoHLM：From one demonstration to generalizable humanoid loco- manipulation[J]. IEEE Robotics and Automation Letters，2026，11(4)：4393-4400.
[25] MITTAL M，YU C，YU Q，et al. Orbit：A unified simulation framework for interactive robot learning environments[J]. IEEE Robotics and Automation Letters，2023，8(6)：3740-3747.
[26] ZHANG Q，CUI P，YAN D，et al. Whole-body humanoid robot locomotion with human reference[C]// Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and System. NJ，USA：IEEE，2024：11225-11231.

基于多评论家模仿学习的人形机器人运动技能生成方法

Whole-body Motion Skills Generation for Humanoid Robots Based on Multi-critic Actor Imitation Learning

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价

[1]	熊璐, 胡旭歌, 吕浩然, 唐辰. 面向车辆运动控制的路面不平度识别综述[J]. 机械工程学报, 2026, 62(8): 139-156.
[2]	廖茂林, 李智, 朱佳鹏, 王泽旭, JOSEPH Páez Chávez. 自推进胶囊在小肠中移动时的优化控制[J]. 机械工程学报, 2025, 61(3): 299-313.
[3]	杜国锋, 邵士博, 李尚霖, 林诚然, 曹政才. 融合视觉语言模型与近端策略优化算法的人形机器人步态切换方法[J]. 机械工程学报, 2025, 61(21): 204-212.
[4]	陶永, 万嘉昊, 王田苗, 熊友军, 王柏村, 张文博, 邓昌义, 陶雨, 杨赓, 魏洪兴. 构建具身智能新范式：人形机器人技术现状及发展趋势综述[J]. 机械工程学报, 2025, 61(15): 121-147.
[5]	沈昌杰, 程敏, 孙博林, 徐兵. 面向人机协作重载搬运的液压双臂协调运动控制[J]. 机械工程学报, 2025, 61(15): 162-173.
[6]	张立元, 杨锦波, 李澳, 杨庆凯, 徐光魁. 张拉整体球形机器人构型设计与控制研究进展[J]. 机械工程学报, 2024, 60(5): 1-18.
[7]	陈正, 吕立彤, 王飞, 姚斌, 李冬明, 刘红光, 张国良. 基于容腔压力规划的非模式切换负载口独立电液系统运动控制[J]. 机械工程学报, 2024, 60(2): 302-312.
[8]	袁小庆, 吴涛, 原勋, 王文东. 基于GSO-RF意图识别算法的全身助力外骨骼控制方法研究[J]. 机械工程学报, 2024, 60(17): 91-101.
[9]	张奇祥, 王金湘, 张伊晗, 张荣林, 靳立强, 殷国栋. 智能电动汽车线控制动关键技术与研究进展[J]. 机械工程学报, 2024, 60(10): 339-365.
[10]	黄维维, 张鑫泉, 朱利民. 基于重复控制的快速刀具伺服系统前馈补偿方法[J]. 机械工程学报, 2023, 59(21): 43-51.
[11]	高镇海, 于桐, 孙天骏, 唐明弘, 高菲, 赵睿. 面向纵向自动驾驶的仿人驱动控制网络模型[J]. 机械工程学报, 2023, 59(18): 251-262.
[12]	陶永, 刘海涛, 王田苗, 韩栋明, 赵罡. 我国服务机器人技术研究进展与产业化发展趋势[J]. 机械工程学报, 2022, 58(18): 56-74.
[13]	吕立彤, 陈正, 姚斌. 并联式泵阀协调电液系统：对比分析与运动控制[J]. 机械工程学报, 2022, 58(10): 136-151.
[14]	贾计东, 张明路. 人机安全交互技术研究进展及发展趋势[J]. 机械工程学报, 2020, 56(3): 16-30.
[15]	施群, 吕雷, 谢家骏. 可变环境下仿人机器人智能姿态控制[J]. 机械工程学报, 2020, 56(3): 64-72.