融合视觉语言模型与近端策略优化算法的人形机器人步态切换方法

doi:10.3901/JME.2025.21.204

机械工程学报 ›› 2025, Vol. 61 ›› Issue (21): 204-212.doi: 10.3901/JME.2025.21.204

• 特邀专栏：纪念张启先院士诞辰 100 周年 • 上一篇

扫码分享

融合视觉语言模型与近端策略优化算法的人形机器人步态切换方法

杜国锋¹, 邵士博¹, 李尚霖¹, 林诚然², 曹政才²

1. 北京化工大学信息科学与技术学院北京 100029;
2. 哈尔滨工业大学机器人技术与系统全国重点实验室哈尔滨 150006

收稿日期:2025-02-28 修回日期:2025-06-23 发布日期:2025-12-27
作者简介:杜国锋，男，1998年出生，博士研究生。主要研究方向为人形机器人运动控制。E-mail：2023400216@buct.edu.cn
曹政才(通信作者)，男，1974年出生，博士，教授，博士研究生导师。主要研究方向为人工智能算法、机器人具身智能和人形机器人。E-mail：caozc@hit.edu.cn
基金资助:
北京市自然科学基金小米创新联合基金(L223019, L243004)、北京市自然科学基金(3242011)和黑龙江省自然科学基金(ZD2024E003)资助项目。

Gait Switching Method for Humanoid Robot Integrating Vision-language Model and Proximal Policy Optimization Algorithm

DU Guofeng¹, SHAO Shibo¹, LI Shanglin¹, LIN Chengran², CAO Zhengcai²

1. College of Information Science and Technology, Beijing University of Chemical Technology, Beijing 100029;
2. State Key Laboratory of Robotics and Systems, Harbin Institute of Technology, Harbin 150006

Received:2025-02-28 Revised:2025-06-23 Published:2025-12-27

摘要/Abstract

摘要： 步态切换是人形机器人实现多地形连续运动的核心。现有方法大多依赖本体感知，缺乏对外部环境特征的理解能力。为此，借鉴视觉语言模型的语义映射机制与近端策略优化算法的自适应学习特性，研究二者融合的人形机器人步态切换方法。首先，通过线性映射方法进行运动重定向，生成仿人步态序列；其次，基于奖赏塑形的近端策略优化算法训练步态基元，构建多地形步态库；然后，设计基于视觉语言模型的步态调度器，动态匹配步态基元；再次，采用拉格朗日插值方法构造多项式函数约束关节轨迹，实现适应性步态切换。最后，在典型场景下进行步态自主切换实验，验证了所提方法的有效性。

关键词: 人形机器人, 步态切换, 视觉语言模型, 强化学习

Abstract: Gait switching is the core of humanoid robots’ ability to achieve seamless locomotion across multiple terrains. Existing methods predominantly rely on proprioception and lack the ability to perceive external environmental features. To address this, a gait switching method is proposed by integrating the semantic mapping capabilities of vision-language models (VLMs) with the adaptive learning characteristics of the proximal policy optimization (PPO) algorithm. First, human-like gait sequences are generated through motion retargeting using a linear mapping. Then, a reward-shaped PPO algorithm trains gait primitives to construct a multi-terrain gait library. Next, a gait scheduler based on a VLM is designed to dynamically match suitable gait primitives. After that, polynomial functions are constructed via Lagrange interpolation to constrain joint trajectories, enabling smooth and adaptive gait transitions. Finally, experiments on autonomous gait switching in representative scenarios validate the effectiveness of the proposed method.

Key words: humanoid robot, gait switching, vision-language model, reinforcement learning

中图分类号:

TP242

杜国锋, 邵士博, 李尚霖, 林诚然, 曹政才. 融合视觉语言模型与近端策略优化算法的人形机器人步态切换方法[J]. 机械工程学报, 2025, 61(21): 204-212.

DU Guofeng, SHAO Shibo, LI Shanglin, LIN Chengran, CAO Zhengcai. Gait Switching Method for Humanoid Robot Integrating Vision-language Model and Proximal Policy Optimization Algorithm[J]. Journal of Mechanical Engineering, 2025, 61(21): 204-212.

参考文献

[1] WEI H，SHUAI M，WANG Z. Dynamically adapt to uneven terrain walking control for humanoid robot[J]. Chinese Journal of Mechanical Engineering，2012，25(2)：214-222.
[2] HANASAKI S，TAZAKI Y，NAGANO H，et al. Running trajectory generation including gait transition between walking based on the time-varying linear inverted pendulum mode[C]//IEEE-RAS International Conference on Humanoid Robots，Ginowan，Japan：IEEE，2022：851-857.
[3] ACOSTA B，POSA M. Bipedal walking on constrained footholds with MPC footstep control[C]//IEEE-RAS International Conference on Humanoid Robots，Austin，TX，USA：IEEE，2023：1-8.
[4] KRISHNA L，CASTILLO G A，MISHRA U A，et al. Linear policies are sufficient to realize robust bipedal walking on challenging terrains[J]. IEEE Robotics and Automation Letters，2022，7(2)：2047-2054.
[5] KRISHNA L，MISHRA U A，CASTILLO G A，et al. Learning linear policies for robust bipedal locomotion on terrains with varying slopes[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems，Prague，Czech Republic：IEEE，2021：5159-5164.
[6] CHAND P，VEER S，POULAKAKIS I. Interactive dynamic walking：Learning gait switching policies with generalization guarantees[J]. IEEE Robotics and Automation Letters，2022，7(2)：4149-4156.
[7] KOSEKI S，MOHSENI O，OWAKI D，et al. Concerted control：Modulating joint stiffness using GRF for gait generation at different speeds[J]. IEEE Robotics and Automation Letters，2025，10(4)：3446-3453.
[8] SIEKMANN J，GREEN K，WARILA J，et al. Blind bipedal stair traversal via sim-to-real reinforcement learning[C]//Robotics：Science and Systems，Berlin，Germany：Robotics：Science and Systems Foundation，2021：1-9.
[9] YU F，BATKE R，DAO J，et al. Dynamic bipedal turning through sim-to-real reinforcement learning[C]//IEEE- RAS International Conference on Humanoid Robots，Ginowan，Japan：IEEE，2022：903-910.
[10] WEI W，WANG Z，XIE A，et al. Learning gait- conditioned bipedal locomotion with motor adaptation[C]//IEEE-RAS International Conference on Humanoid Robots，Austin，TX，USA：IEEE，2023：1-7.
[11] YU S，PERERA N，MAREW D，et al. Learning generic and dynamic locomotion of humanoids across discrete terrains[C]//IEEE-RAS International Conference on Humanoid Robots，Nancy，France：IEEE，2024：1048-1055.
[12] VICECONTE P M，CAMORIANO R，ROMUALDI G，et al. ADHERENT：Learning human-like trajectory generators for whole-body control of humanoid robots[J]. IEEE Robotics and Automation Letters，2022，7(2)：2779-2786.
[13] TANG A，HIRAOKA T，HIRAOKA N，et al. Human mimic：Learning natural locomotion and transitions for humanoid robot via wasserstein adversarial imitation[C]//IEEE International Conference on Robotics and Automation，Yokohama，Japan：IEEE，2024：13107- 13114.
[14] HUANG H，CUI W，ZHANG T，et al. Think on your feet：Seamless transition between human-like locomotion in response to changing commands[EB/OL]. arXiv，2025. arXiv：2502.18901. https://arxiv.org/abs/2502.18901.
[15] MA L，MENG Z，LIU T，et al. StyleLoco：Generative adversarial distillation for natural humanoid robot locomotion[EB/OL]. arXiv，2025. arXiv：2503.15082. https://arxiv.org/abs/2503.15082.
[16] JIN F，WANG Y，MA P，et al. Teacher motion priors：Enhancing robot locomotion over challenging terrain[EB/OL]. arXiv，2025. arXiv：2504.10390. https://arxiv.org/abs/2504.10390.
[17] JIANG Z，XIE Y，LI J，et al. Harmon：Whole-body motion generation of humanoid robots from language descriptions[EB/OL]. arXiv，2024. arXiv：2410.12773. https://arxiv.org/abs/2410.12773.
[18] SUN J，ZHANG Q，HAN G，et al. Trinity：A modular humanoid robot AI system[EB/OL]. arXiv，2025. arXiv：2503.08338. https://arxiv.org/abs/2503.08338.
[19] YUAN H，BAI Y，FU Y，et al. Being-0：A humanoid robotic agent with vision-language models and modular skills[EB/OL]. arXiv，2025. arXiv：2503.12533. https://arxiv.org/abs/2503.12533.
[20] NG A Y，HARADA D，RUSSELL S J. Policy invariance under reward transformations：Theory and application to reward shaping[C]//Proceedings of the 16th International Conference on Machine Learning. San Francisco，CA，USA：Morgan Kaufmann Publishers Inc.，1999：278-287.
[21] REN T，JIANG Q，LIU S，et al. Grounding DINO 1.5：Advance the “Edge” of open-set object detection[EB/OL]. arXiv，2024. arXiv：2405.10300. https://arxiv.org/abs/2405.10300.
[22] RAVI N，GABEUR V，HU Y T，et al. SAM 2：Segment anything in images and videos[EB/OL]. arXiv，2024. arXiv：2408.00714. https://arxiv.org/abs/2408.00714.
[23] MITTAL M，YU C，YU Q，et al. Orbit：A unified simulation framework for interactive robot learning environments[J]. IEEE Robotics and Automation Letters，2023，8(6)：3740-3747.
[24] JOCHER G，QIU J. Ultralytics YOLO11(version 11.0.0) [EB/OL]. 2024[2025-02-28]. https://github.com/ultralytics/ultralytics.

融合视觉语言模型与近端策略优化算法的人形机器人步态切换方法

Gait Switching Method for Humanoid Robot Integrating Vision-language Model and Proximal Policy Optimization Algorithm

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价

[1]	胡炳涛, 钟锐锐, 冯毅雄, 杨晨, 王天跃, 洪兆溪, 谭建荣. 人-信息-物理互联环境下数字车间制造能力建模与自适应调度[J]. 机械工程学报, 2025, 61(3): 23-39.
[2]	唐小林, 甘炯鹏, 张振果. 横纵向耦合跟车场景下基于多智能体深度强化学习的混合动力车队协同能量管理研究[J]. 机械工程学报, 2025, 61(2): 236-246.
[3]	林歆悠, 代军, 曾松榕. 基于运动风险的强化学习换道决策方法研究[J]. 机械工程学报, 2025, 61(18): 252-266.
[4]	陶永, 万嘉昊, 王田苗, 熊友军, 王柏村, 张文博, 邓昌义, 陶雨, 杨赓, 魏洪兴. 构建具身智能新范式：人形机器人技术现状及发展趋势综述[J]. 机械工程学报, 2025, 61(15): 121-147.
[5]	曹延旭, 魏中宝, 宋若旸, 何洪文. 基于深度强化学习的跟驰场景中燃料电池混合动力汽车多目标能量管理研究[J]. 机械工程学报, 2025, 61(12): 191-203.
[6]	李明富, 王飞鸿, 朱凌枫, 李想, 雷高攀, 刘翊, 李林凌, 侯宇葵, 胡余良. 接触丰富的自动装配方法研究进展：机器人装配接触力控制技能学习[J]. 机械工程学报, 2025, 61(10): 395-413.
[7]	王无印, 黄子钊, 庄子龙, 方怀瑾, 秦威. 基于深度强化学习的自动化码头堆场场桥调度方法[J]. 机械工程学报, 2024, 60(6): 44-57.
[8]	赵阔, 王皂琦, 潘臻信, 潘扬华, 张中飞, 屈挺. 大数据驱动的快消品终端拜访“云-边”联动决策与优化[J]. 机械工程学报, 2024, 60(6): 58-68.
[9]	柏林, 何牧耕, 陈兵奎, 刘小峰. 基于域泛化D3QN的跨工况故障诊断方法[J]. 机械工程学报, 2024, 60(22): 165-178.
[10]	郭景华, 李文昌, 王班, 王靖瑶. 基于深度强化学习的网联混合动力汽车队列控制[J]. 机械工程学报, 2024, 60(2): 262-271.
[11]	李文礼, 张祎楠, 石晓辉, 王梦昕. 基于博弈论的右转无信号交叉口行人行为模拟[J]. 机械工程学报, 2024, 60(10): 86-101.
[12]	曾迪, 郑玲, 李以农, 杨显通. 自动驾驶奖励函数贝叶斯逆强化学习方法[J]. 机械工程学报, 2024, 60(10): 245-260.
[13]	杨硕, 李时珍, 赵中原, 黄小鹏, 黄岩军. 基于时序差分学习模型预测控制的一体化自动驾驶换道策略[J]. 机械工程学报, 2024, 60(10): 329-338.
[14]	张志勇, 黄大洋, 黄彩霞, 胡林, 杜荣华. TD3算法改进与自动驾驶汽车并道策略学习[J]. 机械工程学报, 2023, 59(8): 224-234.
[15]	郭洪飞, 陆鑫宇, 任亚平, 张超勇, 李建庆. 基于强化学习的群体进化算法求解双边多目标同步并行拆解线平衡问题[J]. 机械工程学报, 2023, 59(7): 355-366.