全局视觉机器鱼
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
全局视觉机器人水球比赛
满远斌 电信学院 通信工程 082 QQ：154250662
基于全局视觉的机器人水球比 赛技术
比赛概况 机器鱼简介 多水下机器人协作系统 比赛简介 本学期工作安排
比赛概况
比赛概况
比赛概况
比赛概况
比赛概况
比赛概况
比赛概况
比赛概况
机器鱼介绍
各种水下机器人
• 很难通过解析的方法建立机器鱼的流体力学和运动学 模型，因此无法预测机器鱼在接收上位机指令后的动 作效果。
比赛简介
图像采集 图像处理 ②
图像识别
机器人水球比赛 基于全局视觉的
标准平台
定 位 策 略
① 运动控制 执行层 仿生机器鱼 底层控制 硬件配臵 机械结构
基于全局视觉的机器人水球比赛技术
—— ②图像处理
标准平台
定 位 ③ 策 略
① 运动控制 执行层 仿生机器鱼 底层控制 硬件配臵 机械结构
基于全局视觉的机器人水球比赛技术
—— ③识别、定位
识别、定位
～要解决的问题
◆图像处理流程识别出的颜色块，如何对应到相 应的球或色标块？ ◆如何根据色标块得到鱼的位姿信息？ ◆如何根据鱼的实时位姿信息，得到鱼的相关运 动参数（速度等）？
色标识别
～颜色块处理（色标识别、球识别）
◆颜色块的点数大于某个值
• 颜色与设臵的球的颜色一致——〉球
◆颜色块的点数小于某个值
• 当作干扰，舍弃
◆颜色块的点数在两者之间
• 寻找附近相同颜色的颜色块，进行合并 • 从而得到色标块
色标搭配
～色标搭配
◆设臵前方/后方颜色，便于判断鱼的方向 ◆在某前方色标块附近，寻找未被配对过的后方 色标块，并记录数目（N）
人机界面
～信息显示 窗口
Biblioteka Baidu
人机界面
系统功能
•
•
通用性强
可扩展性好
• 友好的图形化人机界面
•
• •
模块化的软件设计
实时图像处理、实时控制 数据记录及回放功能
比赛简介
比赛简介
图像采集 图像处理
图像识别
机器人水球比赛 基于全局视觉的
标准平台
定 位 策 略
① 运动控制 执行层 仿生机器鱼 底层控制 硬件配臵 机械结构
Robotic fish, Essex University
两栖机器人
仿生机器鱼
仿生机器鱼
仿生机器鱼
机器海豚
仿生机器鱼
机器鱼
基于全局视觉的机器人 水球比赛技术 —— 多水下机器人协作 系统
多水下机器人协作系统
◆ 硬件系统结构
◆ 软件系统结构
◆ ◆ 人机界面 系统功能
结构简介
～ 硬件系统结构
◆基本运动控制
路径规划
◆路径规划是移动机器人导航的最基本环节 之一。 ◆它按照某一性能指标，搜索一条从起始状 态运动到目标状态的最优或近似最优的无 碰路径。
◆根据机器人对环境信息知道的程度不同， 可分为两种类型
1.环境信息完全知道的全局路径规划 2.环境信息完全未知或部分未知的局部路径规划。
C++程序
基础知识
•
图像的存放方式
•
•
图像的显示
机器鱼定位坐标系
图像的处理与识别流程
HLS变换
图像分割 ～基于HLS颜色阈值的二值化算法
• 定义BYTE H[240], L[240], S[240];
• 若红色HLS阈值H:0~10, L:35~170,S:60~180; 则将H[0]到H[10],L[35]到L[170],S[60]到S[180] 的数组元素均加上1 • 同理，橙,黄,绿,蓝,紫,粉对应2,4,8,16,32,64 • 若某像素点对应的HLS值分别为h,l,s;计算 N=H[h]&L[l]&S[s]
鱼类游动的运动学模型 ～鱼体波曲线方程 y body (x,t)=[(c1x+cx ) ][sin(kx+wt)]
2
鱼类游动的运动学模型 ～鱼体波曲线方程 y body (x,t)=[(c1x+cx ) ][sin(kx+wt)]
2
C1=1, C2=1, k=1, w=0; C1=1,C2=1,k=2,w=0
结构简介
2007.10 济南 RoboCup中国公开赛
结构简介
2008.7 苏州 RoboCup
结构简介
～ 软件系统结构
结构简介 ～线程间的通讯
人机界面 ～主窗口
人机界面
～原始图像窗口
人机界面
～图像预处理窗口
人机界面 ～图像识别窗口
人机界面
～图像参数 设臵窗口
人机界面
～通信参数设臵窗口
y(i,n, △O,A)=A *sin(2π*i/n-π△O/180)
仿生机器鱼的机械机构
～机械结构
◆控制单元 ◆通讯单元 ◆驱动单元 ◆支撑单元 ◆ 附件
仿生机器鱼的机械机构
仿生机器鱼的硬件配置 ～硬件配臵
◆控制系统
贴片封装的8位AVR单片机 ATmege128，其内含 128KFlash， 4KB EEPROM，并能独立直流伺服电机所需的PWM信号。
图像处理及识别优化 ～SIMD
◆实时图像处理（小于40ms/帧） ◆Single-instruction, multiple-data ◆SIMD技术的核心是多数据的并行处理，利用其 内在的并行性能方便地实现对系统的原有的算 法进行优化。
比赛简介
图像采集 图像处理 ②
图像识别
机器人水球比赛 基于全局视觉的
BOOL Strategy12(CFishAction m_action[],CFishInfo m_FishInfo[],CBallInfo &m_goalinfo,CObstaInfo m_obst[],CHANNEL
◆动力系统
舵机Futaba S3003（2个）和S3102（1个），扭力分别达 4.1kg/cm（6V）和3.7kg/cm（4.8V）。
◆通讯系统
全双工无线通讯模块WAP200B
◆供电系统
四节5号可充电镍氢电池
仿生机器鱼的硬件配置 ～控制板
仿生机器鱼的运动控制 ～仿生机器鱼的控制难点
• 机器鱼以身体波动模式推进，很难跟踪直线运动 • 机器鱼不能后退，只能以不同转弯模式来改变运动方 向 • 机器鱼运动时，水面产生波动；即使机器鱼停止摆 动，也会随水的波动而漂移。造成了精确点到点控制的 极大困难。
基于全局视觉的机器人水球比赛技术
—— ①运动控制
仿生机器鱼知识背景
为什么要研究仿生机器鱼
◆卓越的水下运动能力
• 鱼类是自然界出现最早的脊椎动物，经过亿万年的自然选择和进 化，它们已经成为了海洋世界的“主人”。它们卓越的水下运动能力， 是目 前的人造水下航行器无法比拟的。
◆推进效率高
• 依靠尾鳍和胸鳍的协调运动，鱼类的推进效率可以达到80%以上， 鲹 科鱼类的推进效率甚至可以超过90%，而传统的螺旋桨推进器的 平均 效率仅为40~50%。
The first robotic fish RoboTuna，MIT
Prototypes Fish Robot, PF-550
eel-like robot, Northwestern Univ., USA
lobster robot, Northwestern Univ., USA
仿生机器鱼
•N=0，该前方色标不能与任何后方色标配对 •N=1，该前方色标与找到的唯一一块后方色标配对
•N>1，找到该前方色标的中轴线，中心点与前方色 标中轴线偏差最小的那个后方色标，与前方色标配 对
识别、定位
～机器鱼位姿信息
◆鱼的方向
• 后方色标块的中心点指向前方颜色块的中心点
◆鱼的中心点（鱼的坐标）
• 后方色标块的中心点
#pragma once #include <math.h> #include "STRUCTS.h" #include "FishInfo.h" #include "MURobotCtrl.h"
class CStrategy { public: CStrategy(void); ~CStrategy(void);
C++程序
BOOL Strategy0(CFishAction m_action[],CFishInfo m_FishInfo[],CBallInfo &m_goalinfo,CObstaInfo m_obst[],CHANNEL m_Channel[]); BOOL Strategy1(CFishAction m_action[],CFishInfo m_FishInfo[],CBallInfo &m_goalinfo,CObstaInfo m_obst[],CHANNEL m_Channel[]); BOOL Strategy2(CFishAction m_action[],CFishInfo m_FishInfo[],CBallInfo &m_goalinfo,CObstaInfo m_obst[],CHANNEL m_Channel[]); BOOL Strategy3(CFishAction m_action[],CFishInfo m_FishInfo[],CBallInfo &m_goalinfo,CObstaInfo m_obst[],CHANNEL m_Channel[]); BOOL Strategy4(CFishAction m_action[],CFishInfo m_FishInfo[],CBallInfo &m_goalinfo,CObstaInfo m_obst[],CHANNEL m_Channel[]); BOOL Strategy5(CFishAction m_action[],CFishInfo m_FishInfo[],CBallInfo &m_goalinfo,CObstaInfo m_obst[],CHANNEL m_Channel[]); BOOL Strategy6(CFishAction m_action[],CFishInfo m_FishInfo[],CBallInfo &m_goalinfo,CObstaInfo m_obst[],CHANNEL m_Channel[]); BOOL Strategy7(CFishAction m_action[],CFishInfo m_FishInfo[],CBallInfo &m_goalinfo,CObstaInfo m_obst[],CHANNEL
鱼类游动的运动学模型 ～鱼体波曲线方程 y body (x,t)=[(c1x+cx ) ][sin(kx+wt)]
2
C1=1, C2=1, k=1, w=-1
鱼类游动的运动学模型 ～鱼体波曲线方程 y body (x,t)=[(c1x+cx ) ][sin(kx+wt)]
2
仿生机器鱼的底层控制 ～关节摆动函数
m_Channel[]);
BOOL Strategy8(CFishAction m_action[],CFishInfo m_FishInfo[],CBallInfo &m_goalinfo,CObstaInfo m_obst[],CHANNEL m_Channel[]); BOOL Strategy9(CFishAction m_action[],CFishInfo m_FishInfo[],CBallInfo &m_goalinfo,CObstaInfo m_obst[],CHANNEL m_Channel[]); BOOL Strategy10(CFishAction m_action[],CFishInfo m_FishInfo[],CBallInfo &m_goalinfo,CObstaInfo m_obst[],CHANNEL m_Channel[]); BOOL Strategy11(CFishAction m_action[],CFishInfo m_FishInfo[],CBallInfo &m_goalinfo,CObstaInfo m_obst[],CHANNEL m_Channel[]);
比赛简介
图像采集 图像处理 ②
图像识别
机器人水球比赛 基于全局视觉的
标准平台
定 位 ③ 策 略 ④
① 运动控制 执行层 仿生机器鱼 底层控制 硬件配臵 机械结构
基于全局视觉的机器人水球比赛技术
—— ④策略
策略
◆ 体系结构 ◆组织与协调（角色分配、任务分配） ◆ 路径规划（避障） ◆ 运动规划 ／行为选择策略 ◆ 基本行为设计
◆转弯半径小
• 鱼类还可以在毋需减速的情况下实现转弯半径只有0.1~0.3倍体长的 转向运动，而一般船舶则须以3-5倍体长的转弯半径缓慢地回转。
鱼类游动的物理模型 ～鲹科鱼类
鱼类游动的物理模型
～鲹科鱼类的推进机构 ◆ 柔性身体
◆ 摆动的尾鳍
鱼类游动的运动学模型 ～仿鲹科模式推进的鱼类运动学模型
满远斌 电信学院 通信工程 082 QQ：154250662
基于全局视觉的机器人水球比 赛技术
比赛概况 机器鱼简介 多水下机器人协作系统 比赛简介 本学期工作安排
比赛概况
比赛概况
比赛概况
比赛概况
比赛概况
比赛概况
比赛概况
比赛概况
机器鱼介绍
各种水下机器人
• 很难通过解析的方法建立机器鱼的流体力学和运动学 模型，因此无法预测机器鱼在接收上位机指令后的动 作效果。
比赛简介
图像采集 图像处理 ②
图像识别
机器人水球比赛 基于全局视觉的
标准平台
定 位 策 略
① 运动控制 执行层 仿生机器鱼 底层控制 硬件配臵 机械结构
基于全局视觉的机器人水球比赛技术
—— ②图像处理
标准平台
定 位 ③ 策 略
① 运动控制 执行层 仿生机器鱼 底层控制 硬件配臵 机械结构
基于全局视觉的机器人水球比赛技术
—— ③识别、定位
识别、定位
～要解决的问题
◆图像处理流程识别出的颜色块，如何对应到相 应的球或色标块？ ◆如何根据色标块得到鱼的位姿信息？ ◆如何根据鱼的实时位姿信息，得到鱼的相关运 动参数（速度等）？
色标识别
～颜色块处理（色标识别、球识别）
◆颜色块的点数大于某个值
• 颜色与设臵的球的颜色一致——〉球
◆颜色块的点数小于某个值
• 当作干扰，舍弃
◆颜色块的点数在两者之间
• 寻找附近相同颜色的颜色块，进行合并 • 从而得到色标块
色标搭配
～色标搭配
◆设臵前方/后方颜色，便于判断鱼的方向 ◆在某前方色标块附近，寻找未被配对过的后方 色标块，并记录数目（N）
人机界面
～信息显示 窗口
Biblioteka Baidu
人机界面
系统功能
•
•
通用性强
可扩展性好
• 友好的图形化人机界面
•
• •
模块化的软件设计
实时图像处理、实时控制 数据记录及回放功能
比赛简介
比赛简介
图像采集 图像处理
图像识别
机器人水球比赛 基于全局视觉的
标准平台
定 位 策 略
① 运动控制 执行层 仿生机器鱼 底层控制 硬件配臵 机械结构
Robotic fish, Essex University
两栖机器人
仿生机器鱼
仿生机器鱼
仿生机器鱼
机器海豚
仿生机器鱼
机器鱼
基于全局视觉的机器人 水球比赛技术 —— 多水下机器人协作 系统
多水下机器人协作系统
◆ 硬件系统结构
◆ 软件系统结构
◆ ◆ 人机界面 系统功能
结构简介
～ 硬件系统结构
◆基本运动控制
路径规划
◆路径规划是移动机器人导航的最基本环节 之一。 ◆它按照某一性能指标，搜索一条从起始状 态运动到目标状态的最优或近似最优的无 碰路径。
◆根据机器人对环境信息知道的程度不同， 可分为两种类型
1.环境信息完全知道的全局路径规划 2.环境信息完全未知或部分未知的局部路径规划。
C++程序
基础知识
•
图像的存放方式
•
•
图像的显示
机器鱼定位坐标系
图像的处理与识别流程
HLS变换
图像分割 ～基于HLS颜色阈值的二值化算法
• 定义BYTE H[240], L[240], S[240];
• 若红色HLS阈值H:0~10, L:35~170,S:60~180; 则将H[0]到H[10],L[35]到L[170],S[60]到S[180] 的数组元素均加上1 • 同理，橙,黄,绿,蓝,紫,粉对应2,4,8,16,32,64 • 若某像素点对应的HLS值分别为h,l,s;计算 N=H[h]&L[l]&S[s]
鱼类游动的运动学模型 ～鱼体波曲线方程 y body (x,t)=[(c1x+cx ) ][sin(kx+wt)]
2
鱼类游动的运动学模型 ～鱼体波曲线方程 y body (x,t)=[(c1x+cx ) ][sin(kx+wt)]
2
C1=1, C2=1, k=1, w=0; C1=1,C2=1,k=2,w=0
结构简介
2007.10 济南 RoboCup中国公开赛
结构简介
2008.7 苏州 RoboCup
结构简介
～ 软件系统结构
结构简介 ～线程间的通讯
人机界面 ～主窗口
人机界面
～原始图像窗口
人机界面
～图像预处理窗口
人机界面 ～图像识别窗口
人机界面
～图像参数 设臵窗口
人机界面
～通信参数设臵窗口
y(i,n, △O,A)=A *sin(2π*i/n-π△O/180)
仿生机器鱼的机械机构
～机械结构
◆控制单元 ◆通讯单元 ◆驱动单元 ◆支撑单元 ◆ 附件
仿生机器鱼的机械机构
仿生机器鱼的硬件配置 ～硬件配臵
◆控制系统
贴片封装的8位AVR单片机 ATmege128，其内含 128KFlash， 4KB EEPROM，并能独立直流伺服电机所需的PWM信号。
图像处理及识别优化 ～SIMD
◆实时图像处理（小于40ms/帧） ◆Single-instruction, multiple-data ◆SIMD技术的核心是多数据的并行处理，利用其 内在的并行性能方便地实现对系统的原有的算 法进行优化。
比赛简介
图像采集 图像处理 ②
图像识别
机器人水球比赛 基于全局视觉的
BOOL Strategy12(CFishAction m_action[],CFishInfo m_FishInfo[],CBallInfo &m_goalinfo,CObstaInfo m_obst[],CHANNEL
◆动力系统
舵机Futaba S3003（2个）和S3102（1个），扭力分别达 4.1kg/cm（6V）和3.7kg/cm（4.8V）。
◆通讯系统
全双工无线通讯模块WAP200B
◆供电系统
四节5号可充电镍氢电池
仿生机器鱼的硬件配置 ～控制板
仿生机器鱼的运动控制 ～仿生机器鱼的控制难点
• 机器鱼以身体波动模式推进，很难跟踪直线运动 • 机器鱼不能后退，只能以不同转弯模式来改变运动方 向 • 机器鱼运动时，水面产生波动；即使机器鱼停止摆 动，也会随水的波动而漂移。造成了精确点到点控制的 极大困难。
基于全局视觉的机器人水球比赛技术
—— ①运动控制
仿生机器鱼知识背景
为什么要研究仿生机器鱼
◆卓越的水下运动能力
• 鱼类是自然界出现最早的脊椎动物，经过亿万年的自然选择和进 化，它们已经成为了海洋世界的“主人”。它们卓越的水下运动能力， 是目 前的人造水下航行器无法比拟的。
◆推进效率高
• 依靠尾鳍和胸鳍的协调运动，鱼类的推进效率可以达到80%以上， 鲹 科鱼类的推进效率甚至可以超过90%，而传统的螺旋桨推进器的 平均 效率仅为40~50%。
The first robotic fish RoboTuna，MIT
Prototypes Fish Robot, PF-550
eel-like robot, Northwestern Univ., USA
lobster robot, Northwestern Univ., USA
仿生机器鱼
•N=0，该前方色标不能与任何后方色标配对 •N=1，该前方色标与找到的唯一一块后方色标配对
•N>1，找到该前方色标的中轴线，中心点与前方色 标中轴线偏差最小的那个后方色标，与前方色标配 对
识别、定位
～机器鱼位姿信息
◆鱼的方向
• 后方色标块的中心点指向前方颜色块的中心点
◆鱼的中心点（鱼的坐标）
• 后方色标块的中心点
#pragma once #include <math.h> #include "STRUCTS.h" #include "FishInfo.h" #include "MURobotCtrl.h"
class CStrategy { public: CStrategy(void); ~CStrategy(void);
C++程序
BOOL Strategy0(CFishAction m_action[],CFishInfo m_FishInfo[],CBallInfo &m_goalinfo,CObstaInfo m_obst[],CHANNEL m_Channel[]); BOOL Strategy1(CFishAction m_action[],CFishInfo m_FishInfo[],CBallInfo &m_goalinfo,CObstaInfo m_obst[],CHANNEL m_Channel[]); BOOL Strategy2(CFishAction m_action[],CFishInfo m_FishInfo[],CBallInfo &m_goalinfo,CObstaInfo m_obst[],CHANNEL m_Channel[]); BOOL Strategy3(CFishAction m_action[],CFishInfo m_FishInfo[],CBallInfo &m_goalinfo,CObstaInfo m_obst[],CHANNEL m_Channel[]); BOOL Strategy4(CFishAction m_action[],CFishInfo m_FishInfo[],CBallInfo &m_goalinfo,CObstaInfo m_obst[],CHANNEL m_Channel[]); BOOL Strategy5(CFishAction m_action[],CFishInfo m_FishInfo[],CBallInfo &m_goalinfo,CObstaInfo m_obst[],CHANNEL m_Channel[]); BOOL Strategy6(CFishAction m_action[],CFishInfo m_FishInfo[],CBallInfo &m_goalinfo,CObstaInfo m_obst[],CHANNEL m_Channel[]); BOOL Strategy7(CFishAction m_action[],CFishInfo m_FishInfo[],CBallInfo &m_goalinfo,CObstaInfo m_obst[],CHANNEL
鱼类游动的运动学模型 ～鱼体波曲线方程 y body (x,t)=[(c1x+cx ) ][sin(kx+wt)]
2
C1=1, C2=1, k=1, w=-1
鱼类游动的运动学模型 ～鱼体波曲线方程 y body (x,t)=[(c1x+cx ) ][sin(kx+wt)]
2
仿生机器鱼的底层控制 ～关节摆动函数
m_Channel[]);
BOOL Strategy8(CFishAction m_action[],CFishInfo m_FishInfo[],CBallInfo &m_goalinfo,CObstaInfo m_obst[],CHANNEL m_Channel[]); BOOL Strategy9(CFishAction m_action[],CFishInfo m_FishInfo[],CBallInfo &m_goalinfo,CObstaInfo m_obst[],CHANNEL m_Channel[]); BOOL Strategy10(CFishAction m_action[],CFishInfo m_FishInfo[],CBallInfo &m_goalinfo,CObstaInfo m_obst[],CHANNEL m_Channel[]); BOOL Strategy11(CFishAction m_action[],CFishInfo m_FishInfo[],CBallInfo &m_goalinfo,CObstaInfo m_obst[],CHANNEL m_Channel[]);
比赛简介
图像采集 图像处理 ②
图像识别
机器人水球比赛 基于全局视觉的
标准平台
定 位 ③ 策 略 ④
① 运动控制 执行层 仿生机器鱼 底层控制 硬件配臵 机械结构
基于全局视觉的机器人水球比赛技术
—— ④策略
策略
◆ 体系结构 ◆组织与协调（角色分配、任务分配） ◆ 路径规划（避障） ◆ 运动规划 ／行为选择策略 ◆ 基本行为设计
◆转弯半径小
• 鱼类还可以在毋需减速的情况下实现转弯半径只有0.1~0.3倍体长的 转向运动，而一般船舶则须以3-5倍体长的转弯半径缓慢地回转。
鱼类游动的物理模型 ～鲹科鱼类
鱼类游动的物理模型
～鲹科鱼类的推进机构 ◆ 柔性身体
◆ 摆动的尾鳍
鱼类游动的运动学模型 ～仿鲹科模式推进的鱼类运动学模型