基于双目立体视觉的人体运动仿真
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
２２１ 运 动 学 约 束 ．． 由于人体 的运动符合运动学的原理 ，每一个关节点的运
Ｉ ｆ ＪＰ Ｊ Ｕ ！ ｝
ｆ １ ）
其中，Ｒ和 Ｄ分别表示 由世界坐标系转化到相机坐标系的旋
转 矩 阵和 平 移 向量 ，称 为相 机 外 参 。
动投影到照相机成像平面 ，同样符合运动学原理 ，因此整个
（） ２
析 。但是 ，由于 人体运动和场景的复杂性 ，并且运动训练或
ｌ ０ １ ｊ ０ ０ 其 中， 、 、 ／、 ｖ是相机 内参。 ｇ ｏ 由式（） １ 、式（） 以得到世界坐标系到像素坐标系的转换 ２可
关系 ：
Ｐ＝Ｍ瓠４ Ｐ （） ３
比赛中不宜给运动员贴上标记点 ，这使 得这些算法有很大的
２ Ｃ ｌ ｇ ｆ ｈ ｓｃ ｎ ｅ ｔ ｎｃ ｎｏ ｍａｉｎ Ａｎ ｕ ｏ ｍａ Ｕｎｖ ｒｉ ， ｕ ｕ２ ０ ， ｉａ ． ｏｌ ｅ ｙ ｉｓ ｄＥｌ ｒ ｉ ｆｒ ｔ ， ｈ ｉ ｒ ｌ ｉｅｓ ｙ Ｗ ｈ ４ ０ ０ Ｃｈｎ ） ｅ ｏＰ ａ ｃｏ Ｉ ｏ Ｎ ｔ １
［ ｙｗｏｄ ］ｍｏｉｎｃｐｕｅ ｂｎ ｃ ｌ ｅｅ ｉｏ ；ｎ ｒｙｆｎｔ ｎ Ｋｅ ｒｓ ｔ ａ ｔｒ； ｉｏ ｕａ ｓ ｒｏｖｓ ｎｅ ｅｇ ｃｏ ｏ ｒ ｔ ｉ ｕ ｉ
１ 概 述
当今 时代 ，竞技 体育越来越借助信息技术 。计算机辅助 训练的系统在 国内外得到了广泛 的研究 。目前 ，大多数的动
该在 附近 ，距 离 Ｘ 不 应 超 过 △ 。 ２２２ 模板 ．．
０＝∑√ ｐ（）（（） ） ， ． ｑ／ Ｙ６ｂ ｉｕ ； ｓ
Ｅｎ ｆ ｒ ｄ ０ Ｎｅ ［】ｃ ｔ ｎ ｏｆ ｈ ａ ｇ ｔ ａ ｄ ｄ ｔ ： ｘ ｏ ａ ｉ ｅ ｔｒ ｅ ｎ ｉ ａｅ ｏ ｔ ｃ
ｖ ｓ ｏ ｈ ｏ ｙ ｔ ｅ ｗｏ ｌ ｏ ｒ ｉ ａ ｅ ｆｈ ｍａ ｋ ｌｔ ｎ ｒ ｏ ｕ ｅ ｎ ｅ ３ Ｄ ｕ ｎ ｍｏ ｅ ｓｃ ｎｓｒ ｃ ｅ Ｔｈ ｍａ ｄ ｌｉ ｐ ｉ ｚ ｄ ｂ ｉ ｉ ｎ ｔ ｅ ｒ ， ｈ ｒｄ ｃ ｏ ｄ ｎ ｔ ｓｏ ｕ ｎ ｓ ｅｅ ｏ ｓ ａ ｅ ｃ ｍｐ ｔ ｄ ａ ｄ ｔ － ｈ ｍａ ｄ ｌ ｏ ｔｕ ｔｄ． ｅｈｕ ｎ ｍｏ ｅ ｓｏ ｔｍｉ ｅ ｙ ｈ ｉ ｃ ｍｐ ｔ ｇ ｔ ｅ ｎ ｒ ｙ ｕ ｃｉ ｎ．Ｔｈ ｕ ａ ｍｏ ｉ ｎ ｉ ｉ ｌｔ ｄ ａ ｄ ｔ ｅ ｐ ｒ ｍｅ ｅ ｓ ｏｆ ｈ ｍａ ｍｏ ｉ ｎ ａ ｅ ｉ ｕ ｅ ｕ ．Ｅ ｐ ｒｍｅ ｔ ｌ ｒ ｓ ｌｓ ｏ ｕ ｉ ｈ ｅ ｅ ｇ ｆ ｎ ｔｏ ｎ ｅ ｈ ｍ ｎ ｔ ｓ ｓ ｍｕ ａ ｅ ｎ ｈ ａ ａ ｔ ｒ ｕ ｎ ｏ ｔ ｒ ｆ ｒ ｄ ｏ ｔ ｘ ｅ ｏ ｇ ｉ ｎ ａ ｅ ｕ ｔ ｄ ｍｏ ｓｒ ｔ ｈ ｔ ｈ ｉ ｌ ｔ ｎ ｓ ｓｅ ｃ ｎ ｄ ｌ ｉ ｔ ｎ ｃ ｐｕｒ ｎ ｉ ｌ ｔ ｎ ｏ ｕ ｎ ｍｏ ｉ ｎ ｅ ｎ ｔａ ｅｔ ａ ｅｓ ｍｕ ａ ｉ ｙ ｔ ｍ ａ ｏ ｗｅｌ ｎ ｍｏ ｉ ａ ｔ ｅａ ｄ ｓｍｕ ａ ｉ ｆｈ ｍａ ｔｏ ｔ ｏ ｏ ｏ
第 ３ 卷 第 ２ ６ ４期
、 ．６ １３
・
计
算
机
工
程
２１ ０ ０年 １ ２月
Ｄｅ ｅ ｂ ｒ２ ０ ｃ ｍ ｅ ０１
ＮＯ２ ．４
Ｃｏ ｐ ｅ ｍ ｕｔ ｒＥｎｇ ｎｅ ｒｎｇ ｉ ｅｉ
人工智 能及识 别技 术 ・
文章 编号：１ ３２（ １ ２—０５＿ ３ 文献 ０ － ４８ ００ ４ ＿ ＆＿ ｏ ２ ） ｌ ｏ 标识码： Ａ
局限性 。本文针对这一点 ，提 出了一种基于双 目立体视觉的
无标记点的动作捕获、数据优化、动作仿 真的方法 。
２ 动作捕获
２１ 相机标定原理 ． 如 图 １所 示 ，Ｐ 点 在 世 界 坐 标 系 的 齐 次 坐标 记为
Ｐ： 【 Ｙ ｚ］ ， ， ，Ｐ 点 在 相 机 坐 标 系 的 齐 次 坐 标 记 为 １
是一个凸函数 ，且单调递减 ，距离 中心点 Ｘ 越远 的像素点 ， 其权 最值越小 。其 中，常量 Ｃ为 ：
ｃ （ｘ １ｋ ￣ ｌ
２２３ 待 匹 配 区 域 ．
（ ６ ］
由运 动 学 约 束 可位置为 Ｘ。 选取以 机为 中心的一个与 Ｒ－ 同样大小的正方形
区 域 Ｒ ， 区域 内的 点 用 Ｓ表 示 ， ｉ ，， Ｈ。有 如 下 关 系 ： ２ ＝１ …， ２
ｐ ＝ ＰＸ）２ ｋ （ ） （ ｆｌｋｐ（ ） ） （ ， Ｘ ， Ｘ ｆ ｋ
∑ Ｐ （ｋ＝ ｌＸ ）ｌ
， ， １ 、 ， 、
（ ７ ）
冉 右 瞵 躁 左
关节点 在 第 ｋ１帧图像 中的像 素坐标 为 Ｘ １ 一 ｋ（
，。 ）
．
兰ｌ．Ｉ ． （ ！ ） Ｊ ｋ 仆
；
ｕ ｌ ＝
选取 以该像素为 中心 的一个正方形 区域 ，标记为 Ｒ ，ｒ表 示 ｌ 该 区域 中的像素点 ，ｉ ，， ｎ。统计该区域的 ｍ—ｉ ＝１ …， ２ ｂｎ的颜 色直方 图，并用颜色概率密度向量来表述该区域。
［ ｓｒ ｃ］Ｉ ｒｅ ｉｅｍｏｅｈ ｌ ｔ ａｈｅｅ’ ｘ ｒｉ ， ｕ ｎｍｏｉｎｓ ｌｉｎｓ ｓ ｍ ａｅ ｎｂｎ ｃｌｒｓ ｒｏｖｓ ｎｉ ｅｔｂｉ ｅ Ａｂ ｔａｔ ｎｏｄｒｔ ｇｖ ｒ ｅｐ ｏ ｔｌｔｓ ｅｅｃｓ ａｈ ｍａ ｔ ｉ ａ ｏ ｙｔ ｂ ｓｄｏ ｉｏ ｕａ ｔ ｅ ｉｉ ｓ ｓ ｌｈ ｄ ｏ ｅ ｏ ｍｕ ｔ ｅ ｅ ｏ ａ ｓ
像素坐标 。 根据双 目立体视觉 的原理 ， 计算 出人体关节点的世界坐标 ， 建立三维人体模 型。 通过求解能量函数的最优问题 ， 优化人体模型 ， 并仿真人体运动。实验结果表明，该系统能够较精确地 完成动作捕获及运动仿真。
关健词 ：运动捕获 ；双 目立体视觉 ；能量函数
Ｓ ｍ ｕ ａ ｉ ｎ ｏ ｍ ａ ｏ ｉ ｎ Ｂａ ｅ ｎ Ｂｉ ｏ ｕ ａ ｔ ｒ ｏ Ｖｉｉ ｎ ｉ ｌ ｔ ｆＨｕ ｏ ｎ Ｍ ｔｏ ｓ ｄ ｏ ｎ ｃ ｌ ｒＳ ｅ ｅ ｓｏ
（） ８
府
硪
图 ２ 人体模 型
Ｐ（ ）Ｃ Ｘ ＝ ’ ｋ ｋ
ｐ （ ． 一 ∑√ ； （ｘｑ ｐ ｋ） ｐ ｑ
Ｆ ｒｅ ｃ ｏ ｎ ｉ ｎ ｔ ｒ ｅ ａ ｄ ｄ ｔ ｏ ａ ｈ ｐ ｉ ｔＳ ｉ ａ ｇ ｔｃ ｎ ｉ ａ ｅ Ｒ２
简化 得 ： Ｘ ＝３ｔ ３ ２ Ｘ一 。 ｘ ｘ ＋ 女３ ｌ
因此，可 以推测关节点 －在第 帧图像 中的像素坐标应 ，
３１ 人 体模 型 ． 如图 ２所示 ，人体模型 由多个关节点组成 ：头 ，颈 ，肩 ， 肘 ，腕 ，髋 ，膝 ，踝 ，脚 尖 。并 且 关 节 点 连 线 的长 度 在 运 动
过程中不变。
其中，函数 ｂｒ ： ｛２ ｍ 把像素坐标 ｘ 上的颜色值 （）Ｒ ｌ， ｝ ， …，
映到到之；拉函 ） 射 ｌ 间狄克数（｛ ；数（ “ 函ｋ ： ）
Ｇ Ａ Ｏ ｅ ．ｏｎ ， Ｗ ｉｓ ｇ’
ＱＩ Ｎ Ｈｕ Ｃ ＮＰ ｎ Ａ ｉ ＨＥ ｅ ｇ， ，
（． ｏｌｇ ｆ ｏ ｕｅ ｃｅｃ ｎ ｅ ｈ ｏｏ ｙＺ ｅｉｎ ｎｖｒｉ ， ｎ ｚ ｏ １０ ７Ｃｈｎ ； １Ｃ ｌ ｅｏ Ｃ ｍｐ ｔｒ ｉ ｅ ｄＴ ｃｎ ｌｇ ， ｈｊ ｇＵ ｉｅｓｙ Ｈａｇ ｈ ｕ３ ０ ２ ， ｉａ ｅ Ｓ ｎ ａ ａ ｔ
过程是一个变加速运动 。但是在极短 的时间内 ，例 如视频 的
几帧之间，关节点的运动可 以近似看成匀加速运动 。
假 设已知前 ｋ１帧 图像 中关节点 的像素坐标分别为 一
… Ｊ ，
关节点 ，在第 ｋ帧图像 的像素坐标记 为 ，则
基金项 目： 浙江省科技厅基金资助重 大项 目（ ０ ｃ３ ９ ） ２ ６ １０ ６ ０ 作 者倚介 ： 高维松（９ ３ ，男， 士研究生， １８ 一） 硕 主研 方向： 计算机视
中图 分类号： Ｐ９ Ｔ ３１
基 于 双 目立体 视 觉 的人体 运 动 仿 真
高维橙 ，钱 徼 ，陈 鹛
ｆ． 江大学计算机科学与技术 学院，杭州 ３ ０ ２ ；２ １浙 １０ ７ ．安徽 师范大学物理与 电子信息学院，安徽 芜湖 ２ １０ ） ４ ０ ０ 摘 要 ：为辅助运 动员训练 ，建立一个 基于双 目立体视觉的人体运动仿 真系统 。使用无标记 的动作捕获算法 ，获取人体 关节点在 图像上的
Ｐ＝ ，Ｚ】， Ｐ和 【 ｔ ． ， １ Ｐ满 足 关 系 ：
Ｐ ：
其 中 ，Ｍ 为投影 矩阵 。由计算机视觉原 理…可得 ，当知道
６个 点 的世 界 坐 标 和像 素 坐 标 时 ， 可 以计 算 出投 影 矩 阵 Ｍ 。 就
２２ 带运 动学约束 的 Ｍｅｎｓ ｉ 运功跟踪 ． ａ —ｈｆ ｔ 无标记 点的运动跟踪 方法［３ 要利用人体上 的某 些图 ２１ －主 像特征对人体进行跟踪 ，但这类方法受环境 影响较大。本文 采用带运动约束 的 ＭｅｎＳ ｉ［方法来跟踪人体关节点。 ａ—ｈｆ４ ｔ１
作 捕 获 或 仿 真 算 法 在 特 定 的 条 件 下 能 够 完 成 简 单 的动 作 分
设 尸 点在 图像 上 的投 影 点 Ｐ 的像 素 齐 次 坐标 记 为 Ｐ＝“ｖ】 【 ， ，则 ，ｌ Ｐ和 Ｐ满足关系 ：
Ｉ ０ Ｕ ０Ｉ ｏ
Ｐ： １ ０
Ｖ ｝ ｏ ０ Ｐ
Ｅｎ ｉ ｄ ｗｈ ｌ ｅ
颜色“ ｛２…，） ∈ １ ， ｍ 的概率可以写成： ，
吼 Ｃ （一 Ｉ （ ＝ Ｉ ２ 易 ） ｌ （ ） ｒ
＝
（ ５ ）
｝ ｈｅ ｘ＿ ｌ ａｄ ｐ－ △ ｗ ｉ Ｉ ｆ ＞ ｎ Ｉ）ｋ ｄ ｌ 、 ￡ ｋ ｆ Ｊ ＸＩ ＜
１
３ 模型的建立
觉 ，图 形 图像 处 理 ；钱 徽 ，副 教 授 ；陈 鹏 ，博 士 研 究 生
图 １ 相机成像
一
收稿 日 ：２ １—７ ０ 期 ０００— ３
Ｅｍ ｉ ｗ ｉ ｎ ＠ ｊ． ｕ ｎ ・ ａｌ ：ｇ ｅ ｏｇ ｚ ｅ ． ｓ ｕｄｃ
１８ ５一
由运 动 学原 理 得 ：
（ ｌ ｋ ２ 一（ ｋ ２一Ｘ ） （ Ｘ — ） ｘ ｌ ＾ ２ —ｘ 一 ） ｘ 一 ｋ ３ ＝ ｘｋ ｋ １ 一（ ｋ—一 ）
ｐｐｘｋｑ一 √ （（’ ．） ）
口 ） ［ ， ， ］ （ ＝ ｑ ｑ …， ｌ
其 中 ， 兰吼＝。 １
（ ４ ）
Ｗ ｈｌ ｐ ｐ ｘｋ，） （ （ ０ ｑ ｉ （ （ ’ ｑ ＜９ ｐ ｘ ，） ｅ ）
ｘ ｋ ｘｋ Ｘ）２ ’＝（ ’＋ ｋ／ ；
ｐｐｘｋ，） ∑√ ； （（’ ｑ＋ ） － ｐｑ
Ｕｓ ｎ ｉ ｇ ａ ｍａ ｋ １ ｓ ｒ 一ｅ ｓ ｍｏ ｉ ｎ ｃ ｐ ｕ ｅ ａ ｇ ｒｔ ｍ，ｔ ｅ ｐ ｘ ｌｃ ｏ ｄ ｎ ｔｓ ｏ ｕ ｎ ｓ ｅ ｅ ｏ ｓ ｉ ｈ ｍａ ｅ ａ ｅ ｃ ｐ ｕ ｅ Ａｃ ｏ ｄｉ ｇ ｔ ｉ ｏ ｕ ａ ｔ ｒ ｏ ｔ ａ ｔｒ ｌｏ ｈ ｏ ｉ ｈ ｉ ｅ ｏ ｒ ｉ ａｅ ｆ ｈ ｍａ ｋ ｌ ｔ ｎ ｎ ｔ ｅ ｉ ｇ ｒ ａ ｔ ｒ ｄ ｃ ｒ ｎ ｏ ｂ ｎ ｃ ｌｒ ｓｅ ｅ
Ｉ ｆ ＪＰ Ｊ Ｕ ！ ｝
ｆ １ ）
其中，Ｒ和 Ｄ分别表示 由世界坐标系转化到相机坐标系的旋
转 矩 阵和 平 移 向量 ，称 为相 机 外 参 。
动投影到照相机成像平面 ，同样符合运动学原理 ，因此整个
（） ２
析 。但是 ，由于 人体运动和场景的复杂性 ，并且运动训练或
ｌ ０ １ ｊ ０ ０ 其 中， 、 、 ／、 ｖ是相机 内参。 ｇ ｏ 由式（） １ 、式（） 以得到世界坐标系到像素坐标系的转换 ２可
关系 ：
Ｐ＝Ｍ瓠４ Ｐ （） ３
比赛中不宜给运动员贴上标记点 ，这使 得这些算法有很大的
２ Ｃ ｌ ｇ ｆ ｈ ｓｃ ｎ ｅ ｔ ｎｃ ｎｏ ｍａｉｎ Ａｎ ｕ ｏ ｍａ Ｕｎｖ ｒｉ ， ｕ ｕ２ ０ ， ｉａ ． ｏｌ ｅ ｙ ｉｓ ｄＥｌ ｒ ｉ ｆｒ ｔ ， ｈ ｉ ｒ ｌ ｉｅｓ ｙ Ｗ ｈ ４ ０ ０ Ｃｈｎ ） ｅ ｏＰ ａ ｃｏ Ｉ ｏ Ｎ ｔ １
［ ｙｗｏｄ ］ｍｏｉｎｃｐｕｅ ｂｎ ｃ ｌ ｅｅ ｉｏ ；ｎ ｒｙｆｎｔ ｎ Ｋｅ ｒｓ ｔ ａ ｔｒ； ｉｏ ｕａ ｓ ｒｏｖｓ ｎｅ ｅｇ ｃｏ ｏ ｒ ｔ ｉ ｕ ｉ
１ 概 述
当今 时代 ，竞技 体育越来越借助信息技术 。计算机辅助 训练的系统在 国内外得到了广泛 的研究 。目前 ，大多数的动
该在 附近 ，距 离 Ｘ 不 应 超 过 △ 。 ２２２ 模板 ．．
０＝∑√ ｐ（）（（） ） ， ． ｑ／ Ｙ６ｂ ｉｕ ； ｓ
Ｅｎ ｆ ｒ ｄ ０ Ｎｅ ［】ｃ ｔ ｎ ｏｆ ｈ ａ ｇ ｔ ａ ｄ ｄ ｔ ： ｘ ｏ ａ ｉ ｅ ｔｒ ｅ ｎ ｉ ａｅ ｏ ｔ ｃ
ｖ ｓ ｏ ｈ ｏ ｙ ｔ ｅ ｗｏ ｌ ｏ ｒ ｉ ａ ｅ ｆｈ ｍａ ｋ ｌｔ ｎ ｒ ｏ ｕ ｅ ｎ ｅ ３ Ｄ ｕ ｎ ｍｏ ｅ ｓｃ ｎｓｒ ｃ ｅ Ｔｈ ｍａ ｄ ｌｉ ｐ ｉ ｚ ｄ ｂ ｉ ｉ ｎ ｔ ｅ ｒ ， ｈ ｒｄ ｃ ｏ ｄ ｎ ｔ ｓｏ ｕ ｎ ｓ ｅｅ ｏ ｓ ａ ｅ ｃ ｍｐ ｔ ｄ ａ ｄ ｔ － ｈ ｍａ ｄ ｌ ｏ ｔｕ ｔｄ． ｅｈｕ ｎ ｍｏ ｅ ｓｏ ｔｍｉ ｅ ｙ ｈ ｉ ｃ ｍｐ ｔ ｇ ｔ ｅ ｎ ｒ ｙ ｕ ｃｉ ｎ．Ｔｈ ｕ ａ ｍｏ ｉ ｎ ｉ ｉ ｌｔ ｄ ａ ｄ ｔ ｅ ｐ ｒ ｍｅ ｅ ｓ ｏｆ ｈ ｍａ ｍｏ ｉ ｎ ａ ｅ ｉ ｕ ｅ ｕ ．Ｅ ｐ ｒｍｅ ｔ ｌ ｒ ｓ ｌｓ ｏ ｕ ｉ ｈ ｅ ｅ ｇ ｆ ｎ ｔｏ ｎ ｅ ｈ ｍ ｎ ｔ ｓ ｓ ｍｕ ａ ｅ ｎ ｈ ａ ａ ｔ ｒ ｕ ｎ ｏ ｔ ｒ ｆ ｒ ｄ ｏ ｔ ｘ ｅ ｏ ｇ ｉ ｎ ａ ｅ ｕ ｔ ｄ ｍｏ ｓｒ ｔ ｈ ｔ ｈ ｉ ｌ ｔ ｎ ｓ ｓｅ ｃ ｎ ｄ ｌ ｉ ｔ ｎ ｃ ｐｕｒ ｎ ｉ ｌ ｔ ｎ ｏ ｕ ｎ ｍｏ ｉ ｎ ｅ ｎ ｔａ ｅｔ ａ ｅｓ ｍｕ ａ ｉ ｙ ｔ ｍ ａ ｏ ｗｅｌ ｎ ｍｏ ｉ ａ ｔ ｅａ ｄ ｓｍｕ ａ ｉ ｆｈ ｍａ ｔｏ ｔ ｏ ｏ ｏ
第 ３ 卷 第 ２ ６ ４期
、 ．６ １３
・
计
算
机
工
程
２１ ０ ０年 １ ２月
Ｄｅ ｅ ｂ ｒ２ ０ ｃ ｍ ｅ ０１
ＮＯ２ ．４
Ｃｏ ｐ ｅ ｍ ｕｔ ｒＥｎｇ ｎｅ ｒｎｇ ｉ ｅｉ
人工智 能及识 别技 术 ・
文章 编号：１ ３２（ １ ２—０５＿ ３ 文献 ０ － ４８ ００ ４ ＿ ＆＿ ｏ ２ ） ｌ ｏ 标识码： Ａ
局限性 。本文针对这一点 ，提 出了一种基于双 目立体视觉的
无标记点的动作捕获、数据优化、动作仿 真的方法 。
２ 动作捕获
２１ 相机标定原理 ． 如 图 １所 示 ，Ｐ 点 在 世 界 坐 标 系 的 齐 次 坐标 记为
Ｐ： 【 Ｙ ｚ］ ， ， ，Ｐ 点 在 相 机 坐 标 系 的 齐 次 坐 标 记 为 １
是一个凸函数 ，且单调递减 ，距离 中心点 Ｘ 越远 的像素点 ， 其权 最值越小 。其 中，常量 Ｃ为 ：
ｃ （ｘ １ｋ ￣ ｌ
２２３ 待 匹 配 区 域 ．
（ ６ ］
由运 动 学 约 束 可位置为 Ｘ。 选取以 机为 中心的一个与 Ｒ－ 同样大小的正方形
区 域 Ｒ ， 区域 内的 点 用 Ｓ表 示 ， ｉ ，， Ｈ。有 如 下 关 系 ： ２ ＝１ …， ２
ｐ ＝ ＰＸ）２ ｋ （ ） （ ｆｌｋｐ（ ） ） （ ， Ｘ ， Ｘ ｆ ｋ
∑ Ｐ （ｋ＝ ｌＸ ）ｌ
， ， １ 、 ， 、
（ ７ ）
冉 右 瞵 躁 左
关节点 在 第 ｋ１帧图像 中的像 素坐标 为 Ｘ １ 一 ｋ（
，。 ）
．
兰ｌ．Ｉ ． （ ！ ） Ｊ ｋ 仆
；
ｕ ｌ ＝
选取 以该像素为 中心 的一个正方形 区域 ，标记为 Ｒ ，ｒ表 示 ｌ 该 区域 中的像素点 ，ｉ ，， ｎ。统计该区域的 ｍ—ｉ ＝１ …， ２ ｂｎ的颜 色直方 图，并用颜色概率密度向量来表述该区域。
［ ｓｒ ｃ］Ｉ ｒｅ ｉｅｍｏｅｈ ｌ ｔ ａｈｅｅ’ ｘ ｒｉ ， ｕ ｎｍｏｉｎｓ ｌｉｎｓ ｓ ｍ ａｅ ｎｂｎ ｃｌｒｓ ｒｏｖｓ ｎｉ ｅｔｂｉ ｅ Ａｂ ｔａｔ ｎｏｄｒｔ ｇｖ ｒ ｅｐ ｏ ｔｌｔｓ ｅｅｃｓ ａｈ ｍａ ｔ ｉ ａ ｏ ｙｔ ｂ ｓｄｏ ｉｏ ｕａ ｔ ｅ ｉｉ ｓ ｓ ｌｈ ｄ ｏ ｅ ｏ ｍｕ ｔ ｅ ｅ ｏ ａ ｓ
像素坐标 。 根据双 目立体视觉 的原理 ， 计算 出人体关节点的世界坐标 ， 建立三维人体模 型。 通过求解能量函数的最优问题 ， 优化人体模型 ， 并仿真人体运动。实验结果表明，该系统能够较精确地 完成动作捕获及运动仿真。
关健词 ：运动捕获 ；双 目立体视觉 ；能量函数
Ｓ ｍ ｕ ａ ｉ ｎ ｏ ｍ ａ ｏ ｉ ｎ Ｂａ ｅ ｎ Ｂｉ ｏ ｕ ａ ｔ ｒ ｏ Ｖｉｉ ｎ ｉ ｌ ｔ ｆＨｕ ｏ ｎ Ｍ ｔｏ ｓ ｄ ｏ ｎ ｃ ｌ ｒＳ ｅ ｅ ｓｏ
（） ８
府
硪
图 ２ 人体模 型
Ｐ（ ）Ｃ Ｘ ＝ ’ ｋ ｋ
ｐ （ ． 一 ∑√ ； （ｘｑ ｐ ｋ） ｐ ｑ
Ｆ ｒｅ ｃ ｏ ｎ ｉ ｎ ｔ ｒ ｅ ａ ｄ ｄ ｔ ｏ ａ ｈ ｐ ｉ ｔＳ ｉ ａ ｇ ｔｃ ｎ ｉ ａ ｅ Ｒ２
简化 得 ： Ｘ ＝３ｔ ３ ２ Ｘ一 。 ｘ ｘ ＋ 女３ ｌ
因此，可 以推测关节点 －在第 帧图像 中的像素坐标应 ，
３１ 人 体模 型 ． 如图 ２所示 ，人体模型 由多个关节点组成 ：头 ，颈 ，肩 ， 肘 ，腕 ，髋 ，膝 ，踝 ，脚 尖 。并 且 关 节 点 连 线 的长 度 在 运 动
过程中不变。
其中，函数 ｂｒ ： ｛２ ｍ 把像素坐标 ｘ 上的颜色值 （）Ｒ ｌ， ｝ ， …，
映到到之；拉函 ） 射 ｌ 间狄克数（｛ ；数（ “ 函ｋ ： ）
Ｇ Ａ Ｏ ｅ ．ｏｎ ， Ｗ ｉｓ ｇ’
ＱＩ Ｎ Ｈｕ Ｃ ＮＰ ｎ Ａ ｉ ＨＥ ｅ ｇ， ，
（． ｏｌｇ ｆ ｏ ｕｅ ｃｅｃ ｎ ｅ ｈ ｏｏ ｙＺ ｅｉｎ ｎｖｒｉ ， ｎ ｚ ｏ １０ ７Ｃｈｎ ； １Ｃ ｌ ｅｏ Ｃ ｍｐ ｔｒ ｉ ｅ ｄＴ ｃｎ ｌｇ ， ｈｊ ｇＵ ｉｅｓｙ Ｈａｇ ｈ ｕ３ ０ ２ ， ｉａ ｅ Ｓ ｎ ａ ａ ｔ
过程是一个变加速运动 。但是在极短 的时间内 ，例 如视频 的
几帧之间，关节点的运动可 以近似看成匀加速运动 。
假 设已知前 ｋ１帧 图像 中关节点 的像素坐标分别为 一
… Ｊ ，
关节点 ，在第 ｋ帧图像 的像素坐标记 为 ，则
基金项 目： 浙江省科技厅基金资助重 大项 目（ ０ ｃ３ ９ ） ２ ６ １０ ６ ０ 作 者倚介 ： 高维松（９ ３ ，男， 士研究生， １８ 一） 硕 主研 方向： 计算机视
中图 分类号： Ｐ９ Ｔ ３１
基 于 双 目立体 视 觉 的人体 运 动 仿 真
高维橙 ，钱 徼 ，陈 鹛
ｆ． 江大学计算机科学与技术 学院，杭州 ３ ０ ２ ；２ １浙 １０ ７ ．安徽 师范大学物理与 电子信息学院，安徽 芜湖 ２ １０ ） ４ ０ ０ 摘 要 ：为辅助运 动员训练 ，建立一个 基于双 目立体视觉的人体运动仿 真系统 。使用无标记 的动作捕获算法 ，获取人体 关节点在 图像上的
Ｐ＝ ，Ｚ】， Ｐ和 【 ｔ ． ， １ Ｐ满 足 关 系 ：
Ｐ ：
其 中 ，Ｍ 为投影 矩阵 。由计算机视觉原 理…可得 ，当知道
６个 点 的世 界 坐 标 和像 素 坐 标 时 ， 可 以计 算 出投 影 矩 阵 Ｍ 。 就
２２ 带运 动学约束 的 Ｍｅｎｓ ｉ 运功跟踪 ． ａ —ｈｆ ｔ 无标记 点的运动跟踪 方法［３ 要利用人体上 的某 些图 ２１ －主 像特征对人体进行跟踪 ，但这类方法受环境 影响较大。本文 采用带运动约束 的 ＭｅｎＳ ｉ［方法来跟踪人体关节点。 ａ—ｈｆ４ ｔ１
作 捕 获 或 仿 真 算 法 在 特 定 的 条 件 下 能 够 完 成 简 单 的动 作 分
设 尸 点在 图像 上 的投 影 点 Ｐ 的像 素 齐 次 坐标 记 为 Ｐ＝“ｖ】 【 ， ，则 ，ｌ Ｐ和 Ｐ满足关系 ：
Ｉ ０ Ｕ ０Ｉ ｏ
Ｐ： １ ０
Ｖ ｝ ｏ ０ Ｐ
Ｅｎ ｉ ｄ ｗｈ ｌ ｅ
颜色“ ｛２…，） ∈ １ ， ｍ 的概率可以写成： ，
吼 Ｃ （一 Ｉ （ ＝ Ｉ ２ 易 ） ｌ （ ） ｒ
＝
（ ５ ）
｝ ｈｅ ｘ＿ ｌ ａｄ ｐ－ △ ｗ ｉ Ｉ ｆ ＞ ｎ Ｉ）ｋ ｄ ｌ 、 ￡ ｋ ｆ Ｊ ＸＩ ＜
１
３ 模型的建立
觉 ，图 形 图像 处 理 ；钱 徽 ，副 教 授 ；陈 鹏 ，博 士 研 究 生
图 １ 相机成像
一
收稿 日 ：２ １—７ ０ 期 ０００— ３
Ｅｍ ｉ ｗ ｉ ｎ ＠ ｊ． ｕ ｎ ・ ａｌ ：ｇ ｅ ｏｇ ｚ ｅ ． ｓ ｕｄｃ
１８ ５一
由运 动 学原 理 得 ：
（ ｌ ｋ ２ 一（ ｋ ２一Ｘ ） （ Ｘ — ） ｘ ｌ ＾ ２ —ｘ 一 ） ｘ 一 ｋ ３ ＝ ｘｋ ｋ １ 一（ ｋ—一 ）
ｐｐｘｋｑ一 √ （（’ ．） ）
口 ） ［ ， ， ］ （ ＝ ｑ ｑ …， ｌ
其 中 ， 兰吼＝。 １
（ ４ ）
Ｗ ｈｌ ｐ ｐ ｘｋ，） （ （ ０ ｑ ｉ （ （ ’ ｑ ＜９ ｐ ｘ ，） ｅ ）
ｘ ｋ ｘｋ Ｘ）２ ’＝（ ’＋ ｋ／ ；
ｐｐｘｋ，） ∑√ ； （（’ ｑ＋ ） － ｐｑ
Ｕｓ ｎ ｉ ｇ ａ ｍａ ｋ １ ｓ ｒ 一ｅ ｓ ｍｏ ｉ ｎ ｃ ｐ ｕ ｅ ａ ｇ ｒｔ ｍ，ｔ ｅ ｐ ｘ ｌｃ ｏ ｄ ｎ ｔｓ ｏ ｕ ｎ ｓ ｅ ｅ ｏ ｓ ｉ ｈ ｍａ ｅ ａ ｅ ｃ ｐ ｕ ｅ Ａｃ ｏ ｄｉ ｇ ｔ ｉ ｏ ｕ ａ ｔ ｒ ｏ ｔ ａ ｔｒ ｌｏ ｈ ｏ ｉ ｈ ｉ ｅ ｏ ｒ ｉ ａｅ ｆ ｈ ｍａ ｋ ｌ ｔ ｎ ｎ ｔ ｅ ｉ ｇ ｒ ａ ｔ ｒ ｄ ｃ ｒ ｎ ｏ ｂ ｎ ｃ ｌｒ ｓｅ ｅ