欠驱动机器人强化学习算法仿真及结果分析
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ｔａ ｉｉｎ ｌ ｏ ｔｏｌ ｒｗ ｒ ｗ ｔ ｅ ｃ ｎ ｌ ｓｏ ｈ ｔｔ ｉ ａｇ ｒｔ ｍ ａ ｋ ｏ ｏ ｅ ｒ ｔ ｂ ｅ ｇ ｉ，ａ ｈ ａ ｉ ｒ ｄ ｔ ａ ｎ ｒ ｌ ｅ ｄ ａ ｈ ｏ ｃｕ ｉ ｎ ｔ ａ ｈ ｓ ｌｏ ｉ ｏ ｃ ｅ ｈ ｃ ｎ ｍａ ｅｒ ｂ ｔｇ ｔ ｍｏ ｅ ｓａ ｌ ａｔ ｔｔ ｅ ｓ ｍｅ ｔ ｍｅ， ｉ ｒ ｖ ｈ ｂ ｌｔ ｏ ｏ ｅ ｃ ｍｅ ｔ ｅ ｓｏ ｅ ｄ ｓｕ ｂ ｎ ｅ ａ ｄ ｓｒ ｎ ｔ ｅ ｈ ｌ ｉ ｇ ｒ ｂ ｓｎ ｓ ． ｍｐ ｏ ｅ ｔ ｅ ａ ｉ ｙ ｔ ｖ ｒ ｏ ｈ ｌ ｐ ｉｔ ｒ ａ ｃ ｎ ｔｅ ｇ ｈ ｎ ｔ ｅ ｗａｋ ｎ ｏ ｕ ｔ ｅ ｓ ｉ
欠驱 动 机 器 人强 化 学 习算 法 仿真 及 结 果 分 析
臧希 糖， 王晓林 ， 吴晓光 ， 刘鑫宇
（ 尔滨工 业大 学 机 电工程 学 院， 哈 黑龙 江 哈尔滨 １００ ） ５０ １ 摘 要 ： 对纯被 动机 器人 对 环境 变化敏 感 ，抗 干扰 能力 差等 问题 ， 出了一种 基 于 Ｓｒａ Ａ 针 提 ａｓ（ ）强
行走 。
被动 行走进 行研 究 ， 现此 类 机器 人 对 自身 结 构参 发 数要 求高 、 境 适 应 能力 差 、 定 范 围小 且 步态 单 环 稳
一
随着 被动 机器人 样机 复 杂 程 度 的增 加 ， 对控 制 算 法 的研 究 也 变 得更 加 成 熟 。 ｎ ｏ７ Ｅ ｄ ｊ利用 Ｃ Ｇ神 Ｐ 经元 振子 调节 控制参 数 ， 制 ５杆半 被 动 机 器人 获 控 得稳 定步 态 ； ｓｎ ｌ 出虚 拟重 力方法 ， 过 驱 动 Ａ ａ ｏ８ 提 通 力模 拟重 力 场 控 制 机 器 人 在 平 地 行 走 ； ｓｅ 利 Ｗｉ ｓ 用 Ｑ 学 习分 别 以 能量 和速 度 作 为优 化 目标 成 功学
ａｐ ｒｍｅ ｒ ｏ ｔ ｆ ｅ ｌ ｒ ｈ ｏ ｎ ｅｌｉｇＰ ｏｔ ｌ ｒｂｓｄ ｏ ｈ ａｓ（ ） ｒｉｆ ｃ ｍ ｎ ｅ ｒｉｇ ｗ ｓ ａａ ｔ ｓ ｐｉ ｚｄ ａ ｏｉ ｍ ｆｒｕ ｄ ｒ ｎ Ｄ ｃｎｒ ｌ ａｅ ｎ ｔｅ Ｓｒａ Ａ ｅｎｏ ｅ ｅ ｔｌ ｎｎ ａ ｅ ｎ ｉ ｇ ｔ ｙ ｏｅ ｒ ａ
第 １ 卷 第 ２期 １
２ｌ ０２年 ４月
江 南 大 学 学 报（ 然 科 学 版） 自
Ｊ ｕ ｎ ｌ ｆ ｉｎ ｎ ｎＵｎｖ ｒｉ （ ｔ ｒ ｌ ｃｅ ｃ ｄｔ ｎ ｏ ｒ ａ ａ ｇ ａ ｉｅ ｓ ｙ Ｎａｕ ａ Ｓ ｉｎ ｅＥ ｉ ｏ ） ｏ Ｊ ｔ ｉ
Ｖｏ ．１ Ｎｏ ２ １ １ ． Ａｐｒ ． ２ ２ ０１
ＺＡＮＧ － ｈ Ｗ ＡＮＧ ａ －ｉ Ｗ Ｕ ａ ・ ｕ ｎｇ， ＬＩ Ｘｉ ｙ Ｘｉｚ ｅ， Ｘｉ ｏ ｌｎ， Ｘｉ ｏ ｇ ａ Ｕ ｎ－ ｕ
（ ｃ ｏ ｌ ｆ ｅ ｈ ｎｃ ｌ ｎ ｌｃｒ ａ Ｅ ｇｎ ｅｉ ｇ Ｈ ｒ ｉ ｓ ｔｔ ｏ ｅ ｈ ｏ ｇ ， ａｂｎ １ ０ ０ ，Ｃ ｉａ Ｓ ｈ ｏ ｏ ｃ ａ ｉ ｄＥ ｅ ｔ ｃ ｌ ｎ ｉｅ ｒ ， ａｂｎ Ｉ ｔ ｕｅ ｆ ｃ ｎ ｌ ｙ Ｈ ｒ ｉ ５ ０ １ ｈｎ ） Ｍ ａａ ｉ ｎ ｎ ｉ Ｔ ｏ
ｐ ｏ ｏ ｅ ｅ ｅ ． ｈ ｏ ｏ ｄ ｌｗｉ ｎ ｅ ｎ ｏ ｔｏｌ ｒｗｅ ｅ ｂ ｉｔｉ ｈ ｎ ｉｏ ｍｅ ｔｏ ｔ ＤＥ． Ｃ ｍｐ ｒ ｄ ｗ ｔ ｒ ｐ ｓ ｄ ｈ ｒ Ｔ ｅ ｒ ｂ ｔｍｏ ｅ ｔ ｋ ｅ ｓ ａ ｄ ｃ ｎ ｒ ｌ ｒ ｕ ｌ ｎ ｔ ｅ ｅ ｖ ｒ ｎ ｎ ｆＭａ Ｏ ｈ ｅ ｏ ａ ｅ ｉｈ
化学习的底层 Ｐ Ｄ控制嚣参数优化算法。 Ｍ ｔＤ 在 ａ Ｅ环境下建立双足有膝 关节机 器人模型并进行 Ｏ
控制 器设 计。 通过 与传 统控制 器仿真 结果 的对 比分 析 ，得 出该 算法 可使 模 型 获得 更加 稳 定 的行 走
步 态 ，同时提 高 了 系统抵抗斜 坡扰 动 的能 力 ， 强机 器人 的行走 鲁棒性 。 增 关键词 ：被 动行 走 ； 强化 学 习； 双足 ；ａｓ（ Ｓ ｒａ Ａ）学 习
Ａｂ ｔ ａ ｔ Ｆ ｒ ｕ ｌ ａ ｓｖ ｙ ａ ｃｗａｋ ｎ ｏ ｏ ｅ ｓｔ ｅ ｔ ｈ ｈ ｎ ｅ ｏ ｎ ｉｏ ｍｅ ｔ ｎ ｏ ｒ ｎ ａ ｔ ｉ ｔ ｒｅ ｅ ｃ ｓ ｒ ｃ ： ｏ ｌ ｐ ｓ ｉ ｅ ｄ ｎ ｍｉ ｌ ｉ ｇ ｒ ｂ ｔｓ ｎ ｉｉ ｏｔ ｅ ｃ ａ ｇ ｆ ｖｒ ｎ ｎ ｄ ｐ ｏ ｎ ｉ ｎ ｅ ｆ ｒ ｎ ｅ， ｆ ｙ ｖ ｅ ａ ｉ —
（Ｄ Ｐ Ｗ）概 念并成 功设 计 一款 纯被 动 无 膝关 节 机器 人样 机 ， 在 重 力 作 用 下 沿 一 定 倾 角斜 面 稳 定 行 仅 走 ， 失能 量 由重 力势 能 补偿 Ｊ此 后 ， 多学 者对 损 。 很
的Ａ Ｉ ＳＭＯ机器 人行 走能 耗是 人 类 １ 左 右 。 欠 ０倍 而 驱 动机器 人 的控 制 只需 施 加相 对 很 小 的控 制 力 矩 ， 在保 证 步 态 自然 拟 人 的 特 性 下 实 现 高 效 率 稳 定
中 图分 类号 ：Ｐ２ 文献 标识 码 ： 文章 编号 ：６ １—７４ （０ ２ ０ Ｔ ４ Ａ １７ １７ ２ １ ）２—０３ １２—０ ５ Ｓｉ ｕｌ ｔｏｎ ｆ ｒ Ｐａ ｓｖ ｎａ ｉ ａ ｋｉ ｂｏ ｓ ｄ ｏ ｍ ａ ｉ ｏ ｓ ｉ ｅ Ｄｙ ｍ ｃ Ｗ ｌ ｎｇ Ｒｏ ｔＢａ ｅ ｎ Ｒｅ ｎｆ ｒ ｅ ｅ ａ ｎｉ ｇｏ ｉｈｍ ｉ ｏ ｃ ｍ ｎｔＬｅ ｒ ｎｇ Ａｌ ｒｔ
Ｋｅ ｏ ｄ ： ａｓ ｅｄ ｎ ｍｃｗ ｌｉｇ ｒｉｆ ｃ ｍ ｎ ａｎｎ ， ｉｅ ，Ｓｒａ Ａ ｅｒｉｇ ｙｗ ｒ ｓ ｐ ｓｉ ｙａ ｉ ａｋｎ ， ｅ ｏ ｅ ｅｔ ｅｒｉｇ ｂｐ ｄ ａｓ（ ）ｌ ｎபைடு நூலகம் ｖ ｎｒ ｌ ａ
Ｍｃ ｅｒ 于 ２ Ｇ ｅ… ０世 纪 ９ Ｏ年 代 提 出 被 动 行 走
欠驱 动 机 器 人强 化 学 习算 法 仿真 及 结 果 分 析
臧希 糖， 王晓林 ， 吴晓光 ， 刘鑫宇
（ 尔滨工 业大 学 机 电工程 学 院， 哈 黑龙 江 哈尔滨 １００ ） ５０ １ 摘 要 ： 对纯被 动机 器人 对 环境 变化敏 感 ，抗 干扰 能力 差等 问题 ， 出了一种 基 于 Ｓｒａ Ａ 针 提 ａｓ（ ）强
行走 。
被动 行走进 行研 究 ， 现此 类 机器 人 对 自身 结 构参 发 数要 求高 、 境 适 应 能力 差 、 定 范 围小 且 步态 单 环 稳
一
随着 被动 机器人 样机 复 杂 程 度 的增 加 ， 对控 制 算 法 的研 究 也 变 得更 加 成 熟 。 ｎ ｏ７ Ｅ ｄ ｊ利用 Ｃ Ｇ神 Ｐ 经元 振子 调节 控制参 数 ， 制 ５杆半 被 动 机 器人 获 控 得稳 定步 态 ； ｓｎ ｌ 出虚 拟重 力方法 ， 过 驱 动 Ａ ａ ｏ８ 提 通 力模 拟重 力 场 控 制 机 器 人 在 平 地 行 走 ； ｓｅ 利 Ｗｉ ｓ 用 Ｑ 学 习分 别 以 能量 和速 度 作 为优 化 目标 成 功学
ａｐ ｒｍｅ ｒ ｏ ｔ ｆ ｅ ｌ ｒ ｈ ｏ ｎ ｅｌｉｇＰ ｏｔ ｌ ｒｂｓｄ ｏ ｈ ａｓ（ ） ｒｉｆ ｃ ｍ ｎ ｅ ｒｉｇ ｗ ｓ ａａ ｔ ｓ ｐｉ ｚｄ ａ ｏｉ ｍ ｆｒｕ ｄ ｒ ｎ Ｄ ｃｎｒ ｌ ａｅ ｎ ｔｅ Ｓｒａ Ａ ｅｎｏ ｅ ｅ ｔｌ ｎｎ ａ ｅ ｎ ｉ ｇ ｔ ｙ ｏｅ ｒ ａ
第 １ 卷 第 ２期 １
２ｌ ０２年 ４月
江 南 大 学 学 报（ 然 科 学 版） 自
Ｊ ｕ ｎ ｌ ｆ ｉｎ ｎ ｎＵｎｖ ｒｉ （ ｔ ｒ ｌ ｃｅ ｃ ｄｔ ｎ ｏ ｒ ａ ａ ｇ ａ ｉｅ ｓ ｙ Ｎａｕ ａ Ｓ ｉｎ ｅＥ ｉ ｏ ） ｏ Ｊ ｔ ｉ
Ｖｏ ．１ Ｎｏ ２ １ １ ． Ａｐｒ ． ２ ２ ０１
ＺＡＮＧ － ｈ Ｗ ＡＮＧ ａ －ｉ Ｗ Ｕ ａ ・ ｕ ｎｇ， ＬＩ Ｘｉ ｙ Ｘｉｚ ｅ， Ｘｉ ｏ ｌｎ， Ｘｉ ｏ ｇ ａ Ｕ ｎ－ ｕ
（ ｃ ｏ ｌ ｆ ｅ ｈ ｎｃ ｌ ｎ ｌｃｒ ａ Ｅ ｇｎ ｅｉ ｇ Ｈ ｒ ｉ ｓ ｔｔ ｏ ｅ ｈ ｏ ｇ ， ａｂｎ １ ０ ０ ，Ｃ ｉａ Ｓ ｈ ｏ ｏ ｃ ａ ｉ ｄＥ ｅ ｔ ｃ ｌ ｎ ｉｅ ｒ ， ａｂｎ Ｉ ｔ ｕｅ ｆ ｃ ｎ ｌ ｙ Ｈ ｒ ｉ ５ ０ １ ｈｎ ） Ｍ ａａ ｉ ｎ ｎ ｉ Ｔ ｏ
ｐ ｏ ｏ ｅ ｅ ｅ ． ｈ ｏ ｏ ｄ ｌｗｉ ｎ ｅ ｎ ｏ ｔｏｌ ｒｗｅ ｅ ｂ ｉｔｉ ｈ ｎ ｉｏ ｍｅ ｔｏ ｔ ＤＥ． Ｃ ｍｐ ｒ ｄ ｗ ｔ ｒ ｐ ｓ ｄ ｈ ｒ Ｔ ｅ ｒ ｂ ｔｍｏ ｅ ｔ ｋ ｅ ｓ ａ ｄ ｃ ｎ ｒ ｌ ｒ ｕ ｌ ｎ ｔ ｅ ｅ ｖ ｒ ｎ ｎ ｆＭａ Ｏ ｈ ｅ ｏ ａ ｅ ｉｈ
化学习的底层 Ｐ Ｄ控制嚣参数优化算法。 Ｍ ｔＤ 在 ａ Ｅ环境下建立双足有膝 关节机 器人模型并进行 Ｏ
控制 器设 计。 通过 与传 统控制 器仿真 结果 的对 比分 析 ，得 出该 算法 可使 模 型 获得 更加 稳 定 的行 走
步 态 ，同时提 高 了 系统抵抗斜 坡扰 动 的能 力 ， 强机 器人 的行走 鲁棒性 。 增 关键词 ：被 动行 走 ； 强化 学 习； 双足 ；ａｓ（ Ｓ ｒａ Ａ）学 习
Ａｂ ｔ ａ ｔ Ｆ ｒ ｕ ｌ ａ ｓｖ ｙ ａ ｃｗａｋ ｎ ｏ ｏ ｅ ｓｔ ｅ ｔ ｈ ｈ ｎ ｅ ｏ ｎ ｉｏ ｍｅ ｔ ｎ ｏ ｒ ｎ ａ ｔ ｉ ｔ ｒｅ ｅ ｃ ｓ ｒ ｃ ： ｏ ｌ ｐ ｓ ｉ ｅ ｄ ｎ ｍｉ ｌ ｉ ｇ ｒ ｂ ｔｓ ｎ ｉｉ ｏｔ ｅ ｃ ａ ｇ ｆ ｖｒ ｎ ｎ ｄ ｐ ｏ ｎ ｉ ｎ ｅ ｆ ｒ ｎ ｅ， ｆ ｙ ｖ ｅ ａ ｉ —
（Ｄ Ｐ Ｗ）概 念并成 功设 计 一款 纯被 动 无 膝关 节 机器 人样 机 ， 在 重 力 作 用 下 沿 一 定 倾 角斜 面 稳 定 行 仅 走 ， 失能 量 由重 力势 能 补偿 Ｊ此 后 ， 多学 者对 损 。 很
的Ａ Ｉ ＳＭＯ机器 人行 走能 耗是 人 类 １ 左 右 。 欠 ０倍 而 驱 动机器 人 的控 制 只需 施 加相 对 很 小 的控 制 力 矩 ， 在保 证 步 态 自然 拟 人 的 特 性 下 实 现 高 效 率 稳 定
中 图分 类号 ：Ｐ２ 文献 标识 码 ： 文章 编号 ：６ １—７４ （０ ２ ０ Ｔ ４ Ａ １７ １７ ２ １ ）２—０３ １２—０ ５ Ｓｉ ｕｌ ｔｏｎ ｆ ｒ Ｐａ ｓｖ ｎａ ｉ ａ ｋｉ ｂｏ ｓ ｄ ｏ ｍ ａ ｉ ｏ ｓ ｉ ｅ Ｄｙ ｍ ｃ Ｗ ｌ ｎｇ Ｒｏ ｔＢａ ｅ ｎ Ｒｅ ｎｆ ｒ ｅ ｅ ａ ｎｉ ｇｏ ｉｈｍ ｉ ｏ ｃ ｍ ｎｔＬｅ ｒ ｎｇ Ａｌ ｒｔ
Ｋｅ ｏ ｄ ： ａｓ ｅｄ ｎ ｍｃｗ ｌｉｇ ｒｉｆ ｃ ｍ ｎ ａｎｎ ， ｉｅ ，Ｓｒａ Ａ ｅｒｉｇ ｙｗ ｒ ｓ ｐ ｓｉ ｙａ ｉ ａｋｎ ， ｅ ｏ ｅ ｅｔ ｅｒｉｇ ｂｐ ｄ ａｓ（ ）ｌ ｎபைடு நூலகம் ｖ ｎｒ ｌ ａ
Ｍｃ ｅｒ 于 ２ Ｇ ｅ… ０世 纪 ９ Ｏ年 代 提 出 被 动 行 走