双足机器人在动态环境中步态规划研究

W a lk in g Ga it Plann in g for B iped Robots in D ynam ic Env ironm en t
YU W eiw ei , C SABOUR I N , K MADAN I , YAN J ie
1 2 2 1
( 1. Flight control and sim ulation institute Northwestern Polytechnical University Shanxi Xiπ an 710072, China 2. L ISSI EA /3956 Université PAR IS X II, I U T de Senart, Avenue Pierre Point, 77127 L ieusaint, France YU W eiw ei, ) ABSTRACT: In the p roblem of biped robot stepp ing over dynam ic obstacle in the sagital p lan, because of the height and unp redictable velocity of obstacle, the step length and step height of robot are two key factors which influence successful stepp ing over . An app roach of walking gait p lanning for biped robot has been p resented. Fuzz Q - Learn2 ing algorithm has been used to learn step height . Cubic sp line has been app lied to interpolate the designated point such as step starting point, landing point and maxim um step height to get the s w ingleg trajectory . The curve of p itch angle of swingleg has been obtained according to the geometrical relationship betw een p itch angles . The si m ulation re2 sults show that the biped robot can step over obstacle successfully, and sw inglw g trajectory is smooth and there is no abrup t change for p itch angles . KEYWO RD S: B iped robot; W alking gait p lanning; Fuzzy learning algorithm; Cubic sp line interpolating tovic等人提出的基于零力矩点 ( Zero Moment Point)方法上的 控制策略 [ 5 ] , 以及 Grizzle 等人提出的混合零动力法 ( Hybrid [6 ] Zero Dynam ics) 。这些方法都保证了机器人能够克服外界 干扰稳定行走 。Kuffner等人推导了搜索树算法应用在越障 问题中 [ 1 ] [ 2 ] 。 Joel Chestnutt等人将这一算法改进并作为人 [3 ] 形机器人 Honda ASI MO 的路径规划策略 , 但是该算法只 适用于障碍物的运动速度可预测的情况并且为了避免过长 的计算时间 ,需要将轨迹规划限制在 15 步之内 。 C. Sabourin 等人提出了一种基于模糊学习算法的路径规划策略可以使 机器人跨越速度不可预测的障碍物 [ 4 ] ,但是并没有考虑到障 碍物的高度 。实际上双足机器人或人形机器人的行走过程 是由一系列单足和双足支撑动作组成的 。摆动腿关节处摆 动角的变化规律与步长和迈步高度有关 。即使机器人通过 一系列学习算法能够准确调整步长 ,但是由于障碍物速度和
l k l k N N
ci = ( 1) di =
zi 1 ′ ′ S (x ) = 2 i i 2
i
其中 a 和 q 分别为对于规则 k 和相应 Q 值的可能动作 和评估值 。对于每个输入的模糊集合都是由隶属度函数 M ji 和隶属度 μji 表示的 。对于每一规则 k, 学习系统需要在所有 可能的 N l 个动作中选择一个动作 。在这里我们应用 ε greedy搜索算法选择 F IS的后件动作为激活规则的局部动
第 26 卷 第 4期 文章编号 : 1006 - 9348 ( 2009) 04 - 0218 - 05
计 算 机 仿 真
2009 年 4 月
双足机器人在动态环境中步态规划研究
于薇薇 , C. Sabourin , K . M adani ,闫 杰
1 2 2 1
( 1. 西北工业大学航天学院 飞行控制与仿真实验室 陕西 西安 710072; 2. 巴黎十二大 L ISSI实验室 I U T de Senart, 77127 L ieusaint, France)
- 动作对到相应的 Q 函数的映射 , 模糊规则可以表示为 : If 状态取为 si ,
yk = ak , w ithq = qk
l
1
1
l
or yk = ak , w ithq = qk
6
-
hi
3
zi +
yi + 1 - yi hi l , w ithq = qk l
收稿日期 : 2008 - 04 - 08 修回日期 : 2008 - 04 - 17
— 218 —
高度不可预测等因素 ,在单足支撑阶段摆动腿也及有可能撞 上运动物体 。这需要通过调整摆动腿的迈步高度使其实现 成功跨越 。 本文提出了一种考虑到障碍物的运动速度和高度的步 态规划策略 ,双足机器人通过控制摆动腿关节处的摆动角来 控制步态 。机器人能够通过平滑的调整摆动角跨越不可预 测的运动障碍物 。应用模糊 Q 学习算法对迈步高度进行学 习 ,将迈步的起始点 ,落点和迈步高度作为特征点 ,对特征点 利用三次样条插值得到摆动腿运动轨迹 ,最后通过推导摆动 角间的几何关系得出关节处摆动角的变化规律 ,控制机器人 的步态 ,跨越动态障碍物 。
bi = S ′ i ( xi ) = hi
逻辑 。与 TS - F IS每条规则只有一个结论不同 ,模糊 Q 学习 算法每条规则承认多个动作 , 因此 Agent还需要对每条规则 找到一个最优结论 。 模糊强化系统可以表示为状态集 S = { si si ∈S }到动作 集 A = { a i a i ∈A }的映射 , 也可以表示连续状态空间中状态
最后 , 对于每条激活规则 , 修正相应的 Q 矩阵的评估 l 值 Δqk : Δqkl = Q ( t)αk ( t)
( 7)
的一种强化学习策略 , 解决了 Agent与环境交互的问题 , 并 基于一系列奖惩函数估计值找到 Agent的动作序列 。算法 的目的是系统通过学习可以找到使得回报最高的动作序列 。 由于回报值是存储在 Q 矩阵数值表中的 , 因此 Q 学习算法 不能用来 解 决 状 态 - 动 作 对 在 连 续 空 间 中 的 取 值 问 题 。 [7 ] Glorenec 等人提出了用 Takagi - Sugeno 模糊推理系统 ( TS
Y ( t) = Q ( t) =
k =1 Nk
α ( t) a ∑
k k
Nk
l k
( t) ( t)
( 3) ( 4)
k =1
α ( t) q ∑
l k
第三步 , Agent执行新的全局动作 Y ( t) 后 , 评估函数误差 由表达式 ( 5 ) 给出 。 ΔQ ( t) = β[ r +γ ( 5) Vm ax ( t + 1 ) - Q ( t) ] 其中 Vmax ( t + 1 ) 为下一时间点激活规则下的最大 Q 值 :
摘要 : 在双足机器人跨越迎面而来的动态障碍物的问题中 ,由于障碍物的高度 , 和速度是不可预测等因素 , 机器人的迈步步 长和迈步高度决定了其能否实现成功跨越 。介绍一种双足机器人步态规划方法 , 应用模糊 Q 学习算法对迈步高度进行学 习 ,将迈步的起始点 、 落点和迈步高度作为特征点 ,利用三次样条对特征点进行插值得到摆动腿运动轨迹 , 最后通过摆动角 间的几何关系得出各关节处摆动角的变化规律 ,控制机器人跨越动态障碍物 。仿真结果表明 ,通过进行的步态规划 ,机器人 可以成功跨越动态障碍物 ,并且各关节处的摆动角变化曲线平缓无畸变 。 关键词 : 双足机器人 ; 步态规划 ; 模糊学习算法 ; 三次样条插值 中图分类号 : TP242 文献标识码 : A
1 S 6
( xi ) =
zi + 1 - zi
6 hi
其中 hi = x i + 1 - xi , 通过回代的方法得到 zi : zi = 0 i = 0, n
zi = ( vi - h i zi + 1 ) / u i i = 1, 2, …, n - 1
( 10 )
作 。具有最优估值的动作有概率为 P ε 的可能性被选择 。下 一个动作被执行后 , Agent根据回报函数更新 Q 矩阵值 。 模糊 Q 学习算法由以下几步组成 : 第一步 , Agent根据感知状态 s ( t) 计算隶属度函数 μji 和 真值 αk ( t) :
1 引言
同轮行机器人相比 , 双足机器人具有更灵活的机械结 构 。其具有跨越静态或动态障碍物的能力 ,使其可以在更复 杂的环境中工作 。近十年来 ,对双足或人形机器人控制策略 的研究成为控制领域的一个新的课题 。其中 , A simo 和 HRP - 2P系列人形机器人的控制策略是设计的比较成功的 。但 是由于机器人本身的动态移动特征和运动障碍物的不可预 知特点 ,使用这些控制方法控制双足机器人在实际的不可预 知的环境中跨越动态障碍物仍是有很大局限性的 。 在人形机器人跨越障碍物的路径规划问题中 , Vukobra2