企业动态:
2026-11-19 15:18:25

近日,AIRS智能机器人中心高源博士在人机交互领域顶级会议ACM CHI Conference发表文章,创新性地提出了一个交互式具身姿态估计系统,具有用户易用、场景无拘束、可交互等特点,在康复训练、儿童陪护和慢病管控等方面有巨大的应用潜力。
近日,AIRS智能机器人中心高源博士在人机交互领域顶级会议ACM CHI Conference发表题为“PepperPose: Full-Body Pose Estimation with a Companion Robot”的文章,创新性地提出了一个交互式具身姿态估计系统,具有用户易用、场景无拘束、可交互等特点,在康复训练、儿童陪护和慢病管控等方面有巨大的应用潜力。
去年智能机器人中心林天麟教授创造“以通讯作者身份五发TRO”的历史,今年开年微纳机器人中心俞江帆教授在Nature子刊Nature Communications上发文,AIRS科研工作连续摘取硕果。截至2024年,AIRS助力香港中文大学(深圳)在CSRankings的综合排名中(全球计算机科学机构-机器人方向)长期位列中国第一、亚洲第四,持续打造领域国际影响力。
CHI(The ACM CHI conference on Human Factors in Computing Systems)是人机交互领域顶级国际会议之一,长期以来被中国计算机学会(CCF)推荐为A类国际学术会议。每年由ACM主办,在国际上享有盛誉并具有广泛的学术影响力,是人机交互顶尖学者每年一度的学术盛宴。CHI 2024的录用率是26.3%,将于5月11-16日在美国夏威夷檀香山举办。
全身姿势估计(Full-Body Pose Estimation)是人体数字化建模的经典通道之一,在获取人体姿态的基础之上,机器可以进一步完成对人的动作识别、运动评估以及虚拟人建模等任务,在运动健康、康复训练、元宇宙等应用场景具有重要意义。这一领域在过去十年涌现了一大批基于视觉、惯性传感、无线感知等技术的姿态估计方法,在估计精度和用户便利性上取得了一系列的重要突破。
现有姿态估计方法难以在用户易用性、场景无拘束以及可交互属性这三个方面建立良好平衡。基于视觉和无线感知的工作一般限制了使用地点,且前者容易受到拍摄角度和距离以及用户姿态变化等现实因素的影响。基于惯性传感的方法则依赖于用户穿戴繁杂的传感器系统,在日常使用的便利性上大打折扣。此外当前的姿态估计系统无法独立完成与用户的交互过程,还需要依赖额外的硬件设备。因此,本文研究如何搭建一个用户接受度高、场景不受限并具备交互属性的姿态估计系统。
本文以移动社交机器人Pepper为载体,创新提出了一个交互式具身姿态估计系统PepperPose。该系统以人体姿态实时估计为基础,在线自适应调整机器人所处位置和观察视角,实现跨场景、跨动作、用户零穿戴条件下的高精度姿态估计。
首先,我们进行了一项预实验,对于20多种日常生活和健身、康复动作,分析得到了其姿势估计的最佳角度与距离先验。从中,我们凝练出人体姿态的三大粗粒度类别,包括站立、弯腰、躺倒,将该先验进一步聚拢。然后,我们在Omniverse模拟环境中构建了Pepper机器人的运动学模型,并使用目标制约的强化学习改进机器人的动作空间,使得它可以平滑且安全地跟踪用户。
姿势估计模型:使用开源的3D姿势估计模型(PoseFormerV2)得到实时的全身的姿势估计;
姿势分类模型:使用一个分类器,利用我们设计的姿态特征,将动作分为站立、弯腰、躺倒三类。
控制决策模型:根据人的朝向和动作分类,以及先验知识中检索到的视角信息,计算出机器人下一步的动向,并规划出最佳的移动路径。
我们在一个模拟居家的环境中进行了共计30人的用户实验,使用PepperPose获取了用户在执行不同动作、位置变化和身体朝向改变时的姿势数据,并与三个固定RGB相机和一个Kinect DK深度相机进行对比。实验结果表明,PepperPose显著性提高了姿势估计的准确度。此外,问卷调查结果显示用户对这种自带交互属性技术的接受度普遍较高,进一步采访得到的反馈对于以系统为代表的具身交互框架的未来优化发展具有较好参考价值。
图3. 上:模拟居家实验场地;下左:PepperPose与固定相机的MPJPE比较;下右:固定相机的角度示意图
样例1:在用户改变朝向后,PepperPose可以实时修正其位置和观察角度,以改善姿态估计的结果。
样例2:在用户移动的过程中,PepperPose能够主动跟踪用户,并且避开室内的障碍物。
样例3:面对用户的复杂动作,PepperPose提供的近距离观察角度能够返回较好的姿态估计结果。
样例4:当前的局限性。基于视觉的姿态估计算法容易受到用户衣着的影响,例如在女性用户穿着裙子的时候,单一视角下的腿部跟踪会出现较大的波动。
样例5:因此,在实际使用过程中,我们可能需要对用户的衣着作出一定的限制:如要求穿着更加贴身的衣物等。
本文提出了一个新的交互式具身姿势估计系统,可以在开放的真实世界环境中主动跟踪用户并主动调整位置和视角,进行高精度实时3D姿势估计。该方法不限制使用地点、免去用户佩戴设备的不便且具备优秀的交互属性,在康复训练、儿童陪护和慢病管控方面有很好的应用前景。
文章通讯作者高源博士,现为深圳市人工智能与机器人研究院(AIRS)副研究员,港中大(深圳)兼职助理教授,科研项目负责人,深圳市海外高层次人才。高源博士曾参与瑞典SSF、欧盟Harizon2020, ANIMATAS等机器人研究项目。同时高源博士正在主持负责广东省“基于图表征多智能体强化学习的大规模智能异构多机器人系统研究”项目、深圳市海外高层次人才团队项目,与AIRS“异构多机器人强化学习与规划-从仿真到实现”项目,负责研究异构系统集群特征。高源博士专注于机器人学习和多机器人系统领域研究,特别是在基于强化学习的机器人智能学习系统,多机器人协作,多传感器融合等方面积累深厚,曾在IEEE T-RO、IEEE T-MECH、ACM CHI、ACM IMWUT、IEEE RA-L、NIPS、ICRA、IROS等顶尖国际期刊及会议发表论文余30余篇。
文章第一作者王重阳博士,现为清华大学计算机系普适计算教育部重点实验室博士后研究员、清华大学水木学者,入选国家博士后海外交流计划引进项目。博士毕业于伦敦大学学院(UCL)。他的研究方向是普适计算驱动的mk体育平台交互式智慧医疗,以及基于移动式多模态机器人的交互式具身智能。他以第一作者/共同第一作者身份在普适计算、人机交互、人工智能顶级会议(CHI-24、Ubicomp-21/24、AAAI-23、IJCAI-22)上发表了多篇论文。
文章学生一作郑思齐,现为清华大学致理书院2021级本科生。她目前感兴趣的研究方向为人机交互、普适计算、机器人结合下的创新工作,目前以学生一作和共同作者身份在人机交互和普适计算顶级会议CHI-24和Ubicomp-24上发表了论文。
Copyright © 2026 mk体育科技有限公司 版权所有
电话:020-83631455 地址:广州市越秀区先烈中路76号23E房