LK光流算法总结
基于LK光流的模板匹配算法的研究与改进
－
电 子 工 业 善 用 ｉ 殳吝
半导 体 制造
工 艺 与 设 备
１ 传 统 的基 于 Ｌ Ｋ 光 流 的 模 板 匹 配 算 法
１ ． １ 光 流 法
式 只有 一 个 方程 ， 因此 它 的解 是 非 唯 一 的 ， 即只 能
确 定一 条 约束 线 ， 而不 能 同 时求 出 光 流 的 两 个 速
中 图分 类号 ： Ｔ Ｐ ３ ９ １ ． ４ １
文 献 标识 码 ： Ａ
文 章 编号 ： １ ０ ０ ４ ． ４ ５ ０ ７ （ ２ ０ １ ３ ） １ ０ — ０ ０ １ ８ ０ ５
Ａｎ ａ ｌ ｙ ｓ ｉ ｓ ｏ ｆ Ｍｏ ｔ ｉ ｏ ｎ Ｐｌ ａ ｎ ｎｉ ｎｇ ｏ ｎ Ｂｏ ｎｄ Ａｒ ｍ
ｅ ｆ ｆ ｅ ｃ ｔ ｉ ｖ ｅ ｌ ｙ， Ｍｅ ａ ｎ ｗｈ ｉ ｌ ｅ ｃ ａ ｎ ｒ ｅ ｄ ｕｃ ｅ ｔ ｈ ｅ ｔ ｉ ｍｅ ｏｆ ｍａ ｔ ｃ ｈｉ ｎｇ． Ｋｅ ｙｗｏ ｒ ｄｓ ：Ｍ ａ ｃ ｈｉ ｎｅ Ｖｉ ｓ ｉ ｏ ｎ； Ｉ ｎｓ ｐｅ ｃ ｔ ｉ ｏ ｎ ａ ｎ ｄ ｐｏ ｓ ｉ ｔ ｉ ｏ ｎｉ ｎｇ ；Ｏｐｔ ｉ ｃ ａ ｌ ｌｏ ｆ ｗ ；Ｔｅ ｍ ｐｌ ａ ｔ ｅ ｍａ ｔ ｃ ｈ ｉ ｎｇ
半导 体 制造 工 艺 与设 备
电 字 工 业 毫 用 殳备
Hale Waihona Puke － 基于 Ｌ Ｋ光流 的模 板 匹配 算法 的 研 究 与 改 进
王小捷 ， 李向 东
（ 北 京 中 电 科 电子 装 备 有 限公 司 ， 北京 １ ０ １ ６ ０ １ ）
摘 要 ： 针 对半 导 体设 备 中机 器视 觉 的识 别 定位 问题 ，介 绍 了传 统 的 Ｌ Ｋ 光流 的 模 板 匹配算 法 ， 在 此 基 础 上提 出了 附加 运 动 方 向 光 滑约 束 条件 的 Ｌ Ｋ 光流 的模板 匹配算 法 该 算 法采 用运 动 方 向光 滑 约 束 条件 作 为正 则化 项 ， 较好 的保 持 了运 动 的 边界 ． 通过 实验 分 析 ． 采 用该 算 法对 芯 片 进 行识 别 定位 ， 具 有精 度 高 ， 计算 速度 快 的 特 点 ， 关键 词 ： 机器视觉： 检 测 定位 ： 光流 法 ； 模板 匹 配
LK光流算法
已被广泛的应用于运动车辆跟踪和人脸特征点跟踪[47,48]；下面介绍文献[27]，并对其
进行相关实验。
§4.3.1问题提出
提下，推导出灰度图像光流场计算的基本等式，这是经典光流方法[18,24]。
光流的算法多种多样，其用于目标跟踪常用的算法有：检测和跟踪特征点[25]、跟
好的特征点[26]、金字塔图像的Lucas Kanade特征点跟踪算法（因为其跟踪过程是迭
的光流法计算过程，因此，为了更好的体现光流的作用，本文将其简称为：Lucas
(4-3-13)
B(x,y)～=JL(x+gL
x
,y+gL
y
)
?(x,y)∈[px?ωx,px+ωx]×[py?ωy,py+ωy]
(4-3-14)
注意到A(x,y)和B(x,y)的定义域稍微有些差异。实际上，A(x,y)是在窗口大小为
(2ωx+3)×(2ωy+3)的范围内定义，而不是(2ωx+1)×(2ωy+1)。在后面运用中心差分算子
px+ωx
x=px?ωx
py+ωy
y=py?ωy
(A(x,y)?B(x,y)?[?
B
?x
?B
?y
]υ)?[
?B
?x
?B
?y]
(4-3-18)
注意到A(x,y)?B(x,y)可以看作是在点[x,y]T的一个导数，所以：
δI(x,y)～=A(x,y)?B(x,y)
?(x,y)∈[px?ωx,px+ωx]×[py?ωy,py+ωy]
lk光流估计方法的三大假设
lk光流估计方法的三大假设Lucas-Kanade（LK）光流法是一种基于局部区域的光流估计方法，其基本思想是在图像的每个像素附近构造一个小的局部区域，并假设在这个小区域内，像素的运动是近似恒定的。
LK 光流法基于以下三个主要假设：
1. 空间一致性假设（Spatial Coherence Assumption）： LK 方法假设图像上相邻像素点的运动是相似的。
在实际场景中，通常认为一个局部区域内的像素在图像上的运动是比较一致的，即图像上相邻的像素点有相似的运动向量。
2. 灰度不变性假设（Brightness Constancy Assumption）：LK 方法假设同一点在不同帧的图像上的灰度值在时间上是不变的，即对于一个小区域内的像素，其灰度值在不同帧上是恒定的。
这个假设是LK 方法求解光流的基础，通过对图像灰度变化进行局部的近似，可以得到运动场的估计。
3. 小运动假设（Small Motion Assumption）： LK 方法假设在一个小的时间间隔内，像素的运动是线性的。
这意味着在光流的估计中，我们只考虑相邻帧之间的微小运动。
这个假设使得问题变得更为简单，因为可以使用一阶泰勒展开来近似运动场。
基于这些假设，LK 光流法通过在局部区域内构造一个对灰度变化的空间梯度矩阵，利用灰度不变性和小运动假设，通过最小二乘法求解一个线性方程组，得到该区域内的光流场。
然后，通过在图像的不同位置重复这个过程，就可以得到整个图像上的光流场。
需要注意的是，虽然 LK 光流法在某些场景下效果良好，但在存在大的运动或者场景变化的情况下，其假设可能不再成立，因此在实际应用中，需要根据场景的特点选择合适的光流估计方法。
计算 光流
计算光流光流（Optical Flow）是指在连续帧之间的图像中，同一场景中的物体在时间上的位移。
光流可以用于分析图像序列中的运动信息，例如在视频中跟踪物体的运动。
在计算机视觉领域，光流是一个重要的概念，有多种方法可以用来计算光流。
一种常见的光流计算方法是基于亮度一致性假设，即在相邻帧中的像素亮度保持不变。
这个假设可以表示为以下方程：其中，I_x 和 I_y 是图像在 x 和 y 方向上的梯度， I_t 是图像在时间上的梯度， u 和 v 分别是像素在 x 和 y 方向上的速度。
这个方程可以用来求解光流的速度。
光流的计算可以通过各种技术，包括基于区域的方法、基于特征点的方法和基于深度学习的方法。
一些常见的光流计算算法包括 Lucas-Kanade 方法、Horn-Schunck 方法、以及近年来基于深度学习的光流估计方法。
在实际应用中，你可以使用计算机视觉库如OpenCV等来实现光流的计算。
以下是一个使用OpenCV计算光流的简单示例：import cv2import numpy as np# 读取两帧图像frame1 = cv2.imread('frame1.jpg')frame2 = cv2.imread('frame2.jpg')# 将图像转换为灰度gray1 = cv2.cvtColor(frame1, cv2.COLOR_BGR2GRAY)gray2 = cv2.cvtColor(frame2, cv2.COLOR_BGR2GRAY)# 使用Lucas-Kanade光流法计算光流lk_params = dict(winSize=(15, 15),maxLevel=2,criteria=(cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 0.03))# 查找关键点p0 = cv2.goodFeaturesToTrack(gray1, mask=None, **feature_params)# 计算光流p1, st, err = cv2.calcOpticalFlowPyrLK(gray1, gray2, p0, None, **lk_params)# 选择好的点good_new = p1[st == 1]good_old = p0[st == 1]# 在图像上绘制光流for i, (new, old) in enumerate(zip(good_new, good_old)):a, b = new.ravel()c, d = old.ravel()frame2 = cv2.line(frame2, (a, b), (c, d), (0, 255, 0), 2)frame2 = cv2.circle(frame2, (a, b), 5, (0, 255, 0), -1)# 显示结果cv2.imshow('Optical Flow', frame2)cv2.waitKey(0)cv2.destroyAllWindows()请注意，以上示例中使用了Lucas-Kanade光流法，你可以根据实际情况选择其他方法。
基于LK光流法的单目视觉里程计
基于L K光流法的单目视觉里程计陈伟杰，孙作雷(上海海事大学机器辨识与交互研究组，上海2〇13〇6)摘要：在移动机器人快速发展的今天，视觉里程计是通过视觉传感器进行导航定位的主要方式之一。
文章介绍了基于单个摄 像头的单目视觉里程计的一种实现方法，使用S U R F算法提取特征点，用L K光流法进行特征追踪，相比于传统特征匹配在运算 效率上有极大的提高，再对特征点计算位移与旋转量，以里程计的方式达到定位目的。
详细介绍了视觉里程计的数学原理以及 S U R F算法和L K算法的原理及其数学推导、单目视觉里程计的尺度不确定原理。
最后通过对比确定L K算法的优势以及最优 参数的选择。
关键词！视觉里程计；L K光流法；图像处理；特征跟踪；多视图几何中图分类号：T P242.6+2文献标识码：A D O I：10. 19358/j. iss n. 1674-7720. 2017. 21.014引用格式：陈伟杰，孙作雷.基于L K光流法的单目视觉里程计[J].微型机与应用，2017,36(21):45H7,50.Monocular visual odometry based on LK optical flowChen W eijie，Sun Zu o l ei(Machine Perception and Interaction Group ( M P IG)，Shanghai Maritime University，Shanghai 201306，China)A b s tr a c t: Nowadays，with the rapid development 〇: mobile robots，visual odometer is one 〇:the main ways 〇: navigating through visual sensors. In this paper，we introduce a metliod of monocular visual odometer based on single camera. W e use SURF to extract feature points and then use LK optical flow to track features. The operational efficiency of LK is higher than usual matching. F in a iy，we use matching points to get translation and rotation to achieve the purpose of positioning. W e introduce how S U R F a n d LK work and what ’ s projective ambiguity. At la st，we show the result that LK is really faster than usual m atching，and the optimal parameters are determined by comparing the selection.K ey w ord s ：visual odometry；LK optical flow ；image processing；feature tracking; multi-view geometry〇引言智能机器人在近年来越来越多地进人公众视野。
calcopticalflowpyrlk 用法
Calcopticalflowpyrlk是OpenCV中的一个函数，用于计算稀疏特征光流。
在计算机视觉中，光流是指图像中的像素随着时间的变化而产生的位移。
光流可以用来估计目标的运动轨迹，对于运动跟踪、目标检测等任务具有重要意义。
1. 算法原理calcopticalflowpyrlk算法是基于图像金字塔的Lucas-Kanade算法的改进版本。
它通过构建图像金字塔来实现多尺度处理，从而提高光流的稳定性和精度。
该算法首先对输入的两幅图像进行金字塔分解，然后从粗到细依次计算光流，最终得到目标的像素位移。
2. 输入参数calcopticalflowpyrlk函数的输入参数包括当前帧图像、前一帧图像、前一帧的特征点、输出的特征点位置、特征点的状态等。
其中，前一帧的特征点可以通过GoodFeaturesToTrack函数或其他方式获得。
3. 输出结果calcopticalflowpyrlk函数的输出结果包括当前帧的特征点位置、特征点的运动状态等。
这些结果可以用来进行目标跟踪、运动分析等应用。
4. 使用步骤使用calcopticalflowpyrlk函数进行光流计算的步骤如下：(1)导入OpenCV库import cv2(2)读取输入的两幅图像prev_img = cv2.imread('prev.jpg')curr_img = cv2.imread('curr.jpg')(3)获取前一帧的特征点prev_pts = cv2.goodFeaturesToTrack(prev_img, maxCorners=100, qualityLevel=0.01, minDistance=10)(4)调用calcopticalflowpyrlk函数计算光流curr_pts, status, err = cv2.calcOpticalFlowPyrLK(prev_img, curr_img, prev_pts, None)(5)根据光流结果进行目标跟踪等应用...5. 注意事项在使用calcopticalflowpyrlk函数时，需要注意以下几点：(1)输入的两幅图像应该是连续的帧，且图像尺寸应该相同。
光流（OpticalFlow）原理及其算法示例
光流（OpticalFlow）原理及其算法示例光流的概念最早是由Gibson在1950年提出的。
它是空间移动物体在像素观察平面中移动的瞬时速度。
是一种计算物体在相邻帧间运动信息的方法。
一般来说，光流（Optical Flow）是物体在三维空间中的运动在二维像平面上的投影。
它是由物体和相机的相对速度产生的，反映了物体在极小时间内对应的图像像素的运动方向和速度。
Lucas–Kanade方法（KLT）是一种基于光流原理的特征点跟踪算法。
本文首先介绍光流的原理，然后介绍了KLT及其相关的KLT变体算法。
光流约束方程假设I（x，y，t）为时刻t像素点（x，y）的像素值（亮度），该像素点在两个图像帧之间移动了Δx，Δy，Δt。
因此我们可以得出相同亮度的结论：假设运动很小，我们可以从泰勒级数推导一阶泰勒展开式：因此，其中(dx/dt, dy/dt) = (u, v)为待解像素的光流。
(∂I/∂x，∂I/∂y) = (I_x, I_y)是像素灰度空间微分，t = I_x是像素坐标点的时间灰度微分。
整理成矩阵形式：该公式表明，同一坐标位置上的时间灰度微分是空间灰度微分与该位置上相对于观测者的速度的乘积。
假设空间一致性，对于周围的多个点，有:这个方程组的方程多于未知数，因此通常是超定的。
Lucas-Kanade方法通过最小二乘原理获得折衷解决方案：这就是光流算法的孔径问题。
为了找到光流，需要另一组方程，并附加约束条件。
所有的光流方法都引入了估算实际流的附加条件。
局部差分法：Lucas-Kanade算法为了使方程可求解，进行以下假设：•亮度是恒定的，图像中对象的像素亮度在连续帧之间不会改变；•短距离（短期）运动，相邻帧之间的时间足够短，并且物体运动很小；•空间一致性，相邻像素具有相似的运动；恒定亮度是指某些像素的跟踪不随时间变化：公式表示被跟踪像素的灰度不随时间变化:连续时间意味着相邻帧之间的运动很小。
换句话说，运动的变化可以被认为是亮度相对于时间的导数。
光流计算及其原理分析
光流计算及其原理分析光流是图像亮度的运动信息描述。
光流法计算最初是由Horn和Schunck于1981年提出的，创造性地将⼆维速度场与灰度相联系，引⼊光流约束⽅程，得到光流计算的基本算法．光流计算基于物体移动的光学特性提出了2个假设：①运动物体的灰度在很短的间隔时间内保持不变；②给定邻域内的速度向量场变化是缓慢的。
算法原理假设图像上⼀个像素点(x,y)，在t时刻的亮度为E(x+Δx,y+Δy,t+Δt)，同时⽤u(x,y0和v(x,y)来表⽰该点光流在⽔平和垂直⽅向上的移动分量：u=dx/dtv=dy/dt在经过⼀段时间间隔Δt后该点对应点亮度为E(x+Δx,y+Δy,t+Δt),当Δt很⼩趋近于0时，我们可以认为该点亮度不变，所以可以有：E(x,y,t)=E(x+Δx,y+Δy,t+Δt)当该点的亮度有变化时，将移动后点的亮度由Taylor公式展幵，可得：忽略其⼆阶⽆穷⼩，由于Δt趋近于0时，有：式中w=(u,v)，所以上式就是基本的光流约束⽅程。
其中令表⽰图像中像素点灰度沿x，y，t⽅向的梯度，可将上式改写成：Lucas-Kanade是⼀种⼴泛使⽤的光流估计的差分⽅法，这个⽅法是由Bruce D. Lucas和Takeo Kanade发明的。
它假设光流在像素点的邻域是⼀个常数，然后使⽤最⼩⼆乘法对邻域中的所有像素点求解基本的光流⽅程。
通过结合⼏个邻近像素点的信息，卢卡斯-⾦出⽅法(简称为L-K⽅法)通常能够消除光流⽅程⾥的多义性。
⽽且，与逐点计算的⽅法相⽐，L-K ⽅法对图像噪声不敏感。
不过，由于这是⼀种局部⽅法，所以在图像的均匀区域内部，L-K⽅法⽆法提供光流信息。
Lucas-Kanade改进算法Jean-Yves Bouguet提出⼀种基于⾦字塔分层，针对仿射变换的改进Lucas-Kanade算法。
为什么要⽤⾦字塔？因为lk算法的约束条件即：⼩速度，亮度不变以及区域⼀致性都是较强的假设，并不很容易得到满⾜。
视觉SLAM十四讲——LK光流
视觉SLAM⼗四讲——LK光流主要内容 直接法是从光流演变⽽来的。
光流（Optical Flow）描述了像素在图像中的运动，⽽直接法则附带着⼀个相机的运动模型。
1. 定义 描述像素随时间在像素中运动的⽅法，追踪像素在图像中运动。
追踪部分像素或全部像素分为稀疏光流和稠密光流，稀疏光流以Lucas-Kanade光流为代表，可以在SLAM中跟踪特征点的位置。
（避免随时间在两两图像之间进⾏特征点提取匹配，减少计算量，光流本省匹配需要⼀定的时间，跟踪以后可以直接⽤像素坐标信息，使⽤对极⼏何、PnP和ICP算法估计相机运动）2. LK光流 [P186-187] 1）灰度不变假设：同⼀空间点的像素灰度值，在各个图像中是固定不变的。
2) 理论公式：（两个变量的⼀次⽅程） 分别表⽰：在像素点x⽅向的梯度，像素点在x⽅向的运动速度，在像素点y⽅向的梯度，像素点在y⽅向上的梯度，像素点灰度随时间的变化量。
3）在LK光流中，我们假设某⼀个窗⼝内的像素具有相同的运动。
窗⼝⼤⼩w*w，则共有w2个⽅程。
最⼩⼆乘求解（由于像素梯度仅在局部有效，所以如果⼀次迭代不够好，可以多迭代⼏次这个⽅程）3. 光流特点 1）⾓点具有更好的辨识度，边缘次之，区块最少 2）光流法本⾝计算需要⼀定的时间，在具体SLAM系统的应⽤，根据测试进⾏选择 3）LK光流跟踪能够直接得到特征点的对应关系，实际应⽤会出现特征点跟丢的情况，不太会遇到误匹配（相对于描述⼦的⼀点优势） 4）描述⼦匹配在相机运动较⼤时仍能成功，光流必须要求相机运动是微⼩的（采集频率较⾼）。
光流的健壮性相⽐描述⼦差。
4. 代码关键点 1）根据associate.txt匹配时间点的信息，读取图像及深度信息， 2）遍历图像，第⼀幅图像提取FAST的特征点，后继续的图像利⽤光流跟踪这些特征点，删除跟踪失败的特征点 3）光流法函数调⽤： cv::calcOpticalFlowPyrLK （包括参数的调⽤，返回的结果信息等） 4）每⼀帧图像跟踪出来的特征点进⾏显⽰ 5）注意光流跟踪的点数以及光流计算耗费的时间信息参考链接代码#include <iostream>#include <fstream>#include <list>#include <vector>#include <chrono>using namespace std;#include <opencv2/core/core.hpp>#include <opencv2/highgui/highgui.hpp>#include <opencv2/features2d/features2d.hpp>#include <opencv2/video/tracking.hpp>int main( int argc, char** argv ){if ( argc != 2 ){cout<<"usage: useLK path_to_dataset"<<endl;return1;}string path_to_dataset = argv[1];string associate_file = path_to_dataset + "/associate.txt";ifstream fin( associate_file );if ( !fin ){cerr<<"I cann't find associate.txt!"<<endl;return1;}string rgb_file, depth_file, time_rgb, time_depth;list< cv::Point2f > keypoints; // 因为要删除跟踪失败的点，使⽤listcv::Mat color, depth, last_color;for ( int index=0; index<100; index++ ){fin>>time_rgb>>rgb_file>>time_depth>>depth_file;color = cv::imread( path_to_dataset+"/"+rgb_file );depth = cv::imread( path_to_dataset+"/"+depth_file, -1 );if (index ==0 ){// 对第⼀帧提取FAST特征点vector<cv::KeyPoint> kps;cv::Ptr<cv::FastFeatureDetector> detector = cv::FastFeatureDetector::create();detector->detect( color, kps );for ( auto kp:kps )keypoints.push_back( kp.pt );last_color = color;continue;}if ( color.data==nullptr || depth.data==nullptr )continue;// 对其他帧⽤LK跟踪特征点vector<cv::Point2f> next_keypoints;vector<cv::Point2f> prev_keypoints;for ( auto kp:keypoints )prev_keypoints.push_back(kp);vector<unsigned char> status;vector<float> error;chrono::steady_clock::time_point t1 = chrono::steady_clock::now();cv::calcOpticalFlowPyrLK( last_color, color, prev_keypoints, next_keypoints, status, error );chrono::steady_clock::time_point t2 = chrono::steady_clock::now();chrono::duration<double> time_used = chrono::duration_cast<chrono::duration<double>>( t2-t1 ); cout<<"LK Flow use time："<<time_used.count()<<" seconds."<<endl;// 把跟丢的点删掉int i=0;for ( auto iter=keypoints.begin(); iter!=keypoints.end(); i++){if ( status[i] == 0 ){iter = keypoints.erase(iter);continue;}*iter = next_keypoints[i];iter++;}cout<<"tracked keypoints: "<<keypoints.size()<<endl;if (keypoints.size() == 0){cout<<"all keypoints are lost."<<endl;break;}// 画出 keypointscv::Mat img_show = color.clone();for ( auto kp:keypoints )cv::circle(img_show, kp, 10, cv::Scalar(0, 240, 0), 1);cv::imshow("corners", img_show);cv::waitKey(0);last_color = color;}return0;}结果及分析LK Flow use time：0.186846 seconds. //t1 ,对应下⾯的第⼀幅图tracked keypoints: 1749LK Flow use time：0.189048 seconds.tracked keypoints: 1742LK Flow use time：0.232017 seconds.tracked keypoints: 1703LK Flow use time：0.17844 seconds.tracked keypoints: 1676LK Flow use time：0.234777 seconds.tracked keypoints: 1664LK Flow use time：0.185145 seconds.tracked keypoints: 1656LK Flow use time：0.186722 seconds.tracked keypoints: 1641LK Flow use time：0.177791 seconds. // t2,对应下⾯的第⼆幅图tracked keypoints: 1634 结果分析： 1）根据输出结果，随着时间，相机姿态发⽣了⽐较⼤的旋转变化，跟踪的特征点数也从1749点下降到1634点； 2）从图中可以看出，随着图像视⾓的旋转，有些特征消失，新进来的特征点⽆法跟踪（可能需要对新进来的该部分特征重新进⾏提取，不然随着⾓度更⼤的时候，特征点可能完全丢失，⽆法进⾏位姿的解算）。
LK光流算法总结
LK光流算法总结1.时序连续性假设：相邻图像之间的运动是连续的，即相邻帧像素之间的灰度值变化不大。
2.灰度恒定假设：在图像的小区域内，灰度值保持不变，即光流约束方程成立。
3.亮度差异小假设：两帧图像之间的光照变化较小，使得标准LK法的约束条件成立。
1.特征点选择：选择图像中的一组稀疏特征点，通常选择具有较强纹理信息或边缘明显的像素点，以便在两帧图像之间进行匹配。
2.特征匹配：通过在第一帧图像中的特征点附近，在第二帧图像中找到与之对应的点，建立点对的对应关系。
3.构造光流约束方程：利用灰度恒定假设，将特征匹配得到的点对所在的小区域内的像素灰度值进行相等约束。
4.最小二乘法求解：将光流约束方程转化为一个最小二乘问题，通过最小化目标函数来求解运动向量。
5.求解结果：得到每个特征点的运动向量，即图像中每个像素的运动速度。
1.算法简单：LK光流算法只需要基于灰度恒定假设建立光流约束方程并应用最小二乘法求解，计算量较小，易于实现。
2.对小运动和小区域适应性好：由于采用局部约束条件，LK光流算法在小运动和小区域的运动估计中表现良好。
3.特征点稀疏性：LK光流算法通过特征点的选取，使得运动向量的估计更集中在感兴趣的区域，而不是整个图像。
然而，LK光流算法也存在一些缺点：1.对大运动和非纹理区域的适应性较差：LK光流算法在大运动和非纹理区域的运动估计中容易失效，因为违反亮度恒定和小运动假设。
2.特征点选取的影响：LK光流算法的性能受到特征点选择的影响较大，如果选择的特征点不合适，可能会导致运动向量的估计精度下降。
总结而言，LK光流算法是一种简单且有效的光流估计算法，广泛应用于计算机视觉和图像处理领域。
尽管存在一些缺点，但在特定的场景下，LK光流算法仍然具有较好的性能和应用前景。
未来可以通过与其他算法的结合或改进来进一步提升其运动估计的准确性和鲁棒性。
光流法详解之一（LK光流）
光流法详解之⼀（LK光流）Lucas–Kanade光流算法是⼀种两帧差分的光流估计算法。
它由Bruce D. Lucas 和 Takeo Kanade提出 [1]。
LK光流法有三个假设条件：1. 亮度恒定：⼀个像素点随着时间的变化，其亮度值（像素灰度值）是恒定不变的。
这是光流法的基本设定。
所有光流法都必须满⾜。
2. ⼩运动：时间的变化不会引起位置的剧烈变化。
这样才能利⽤相邻帧之间的位置变化引起的灰度值变化，去求取灰度对位置的偏导数。
所有光流法必须满⾜。
3. 空间⼀致：即前⼀帧中相邻像素点在后⼀帧中也是相邻的。
这是LK光流法独有的假定。
因为为了求取x,y⽅向的速度，需要建⽴多个⽅程联⽴求解。
⽽空间⼀致假设就可以利⽤邻域n个像素点来建⽴n个⽅程。
LK光流算法原理的数学推导：假设前⼀帧时间为t，后⼀帧时间为t+δt。
则前⼀帧I的像素点I(x, y, z, t)在后⼀帧中的位置为I(x+δx, y+δy, z+δz, t+δt )。
①根据亮度恒定假设：②根据⼩运动假设，将上式右侧⽤泰勒级数展开： H.O.T是泰勒级数展开式的⾼阶项，⼩运动情况下可以忽略为0.③根据上⾯两个公式可以得到： 或者下⾯的公式：⽽对于⼆维图像⽽⾔，只需要考虑x, y, t即可，其中Ix，Iy It分别为图像在(x, y, t)⽅向的差分，写为如下形式：④现在有两个未知数，只有⼀个⽅程。
因此⽤到第三个假设：即空间⼀致性假设，LK算法是利⽤3x3窗⼝内的9个像素点建⽴9个⽅程。
简写为下⾯的形式： 写成矩阵形式： 当然两个未知数，9个⽅程，这是⼀个超定问题，采⽤最⼩⼆乘法解决：写成如下形式：根据上式通过累加邻域像素点在三个维度的偏导数并做矩阵运算，即可算出该点的光流(Vx,Vy)。
源代码及效果：源代码见这⾥：。
效果并不好，很多错误匹配点。
参考⽂献：[1]. Lucas B and Kanade T. An Iterative Image RegistrationTechnique with an Application to Stereo Vision. Proc. Of 7th InternationalJoint Conference on Artificial Intelligence (IJCAI), pp.674-679.。
tum数据集lk光流法
tum数据集lk光流法TUM数据集LK光流法——从光流法的基础到TUM数据集LK光流法的应用光流法是一种计算机视觉中常用的技术，它可以用来描述图像间的运动信息。
在众多的光流法方法中，LK光流法是一种经典的算法。
TUM数据集LK光流法就是利用LK光流法对TUM数据集进行光流估计。
本文将会从光流法基础的介绍、LK光流法的原理、TUM数据集的介绍以及TUM数据集LK光流法的应用等方面，阐述光流法和LK光流法并重视之后的TUM数据集LK光流法的实现和应用。
一、光流法基础光流法是通过在某个点处求导来描述这个点的运动。
具体来说，是通过在两个连续帧中同一点处的像素值来计算出这个点的运动。
这个运动矢量就是光流。
光流法的使用需要做出两个假设：运动是连续的；亮度不变。
这两个假设虽然在计算中不一定一定成立，但是它们是常用的假设。
光流法的数学模型可以表示为：I(x+u, y+v, t+1) - I(x, y, t) = 0其中I(x+u, y+v, t+1)表示下一帧图像中坐标为(x+u, y+v)处的像素值，I(x, y, t)表示当前帧图像中坐标为(x, y)处的像素值，(u,v)表示这个点的运动矢量。
二、LK光流法LK光流法的原理是要求解上述方程在u,v两个方向上的导数。
LK 光流法的优点是计算量小，速度快，而且可以同时考虑多个点的运动。
LK光流法的基本操作是对模板进行块状分割进行求解，并对小区域内像素值进行相减，根据一定的公式求得光流u,v。
LK光流法的数学模型可以表示为：[∑IxIx, ∑IxIy] [u] = [- ∑IxIt][∑IxIy, ∑IyIy] [v] [- ∑IyIt]其中Ix和Iy是当前点(x,y)灰度图像在x和y方向上的梯度，It为两个连续帧(x,y)处图像的时间差。
三、TUM数据集TUM（Technische Universität München）数据集是目前使用最为广泛的数据集之一。
三种光流算法的实现源码及测试结果
三种光流算法的实现源码及测试结果基于OpenCV的三种光流算法实现源码及测试结果本文包括三种基于OpenCV的光流算法实现源码及测试结果。
具体为HS算法，LK算法，和ctfLK算法，算法的原实现作者是Eric Yuan，这里是作者的博客主页：http://eric-yuan.me。
本文对这三种光流算法进行了相关调试及结果验证，供大家在自己的项目开发中参考。
1.第一种：HS光流法（作者HORN 和SCHUNCK）#include"opencv2/core/core.hpp"#include"opencv2/imgproc/imgproc.hpp"#include"opencv2/highgui/highgui.hpp"#include#include#includeusing namespace cv;using namespace std;#define ATD at#define elif else if#ifndef bool#define bool int#define false ((bool)0)#define true ((bool)1)#endifMat get_fx(Mat &src1, Mat &src2){Mat fx;Mat kernel = Mat::ones(2, 2, CV_64FC1);kernel.ATD(0, 0) = -1.0;kernel.ATD(1, 0) = -1.0;Mat dst1, dst2;filter2D(src1, dst1, -1, kernel);filter2D(src2, dst2, -1, kernel);fx = dst1 + dst2;return fx;}Mat get_fy(Mat &src1, Mat &src2){ Mat fy;Mat kernel = Mat::ones(2, 2, CV_64FC1); kernel.ATD(0, 0) = -1.0;kernel.ATD(0, 1) = -1.0;Mat dst1, dst2;filter2D(src1, dst1, -1, kernel);filter2D(src2, dst2, -1, kernel);fy = dst1 + dst2;return fy;}Mat get_ft(Mat &src1, Mat &src2){Mat ft;Mat kernel = Mat::ones(2, 2, CV_64FC1); kernel = kernel.mul(-1);Mat dst1, dst2;filter2D(src1, dst1, -1, kernel);kernel = kernel.mul(-1);filter2D(src2, dst2, -1, kernel);ft = dst1 + dst2;return ft;}bool isInsideImage(int y, int x, Mat &m){ int width = m.cols;int height = m.rows;if (x >= 0 && x < width && y >= 0 && y < height) return true;else return false;}double get_Average4(Mat &m, int y, int x){if (x < 0 || x >= m.cols) return 0;if (y < 0 || y >= m.rows) return 0;double val = 0.0;int tmp = 0;if (isInsideImage(y - 1, x, m)){++tmp;val += m.ATD(y - 1, x);}if (isInsideImage(y + 1, x, m)){++tmp;val += m.ATD(y + 1, x);}if (isInsideImage(y, x - 1, m)){++tmp;val += m.ATD(y, x - 1);}if (isInsideImage(y, x + 1, m)){++tmp;val += m.ATD(y, x + 1);}return val / tmp;}Mat get_Average4_Mat(Mat &m){Mat res = Mat::zeros(m.rows, m.cols, CV_64FC1);for (int i = 0; i < m.rows; i++){for (int j = 0; j < m.cols; j++){res.ATD(i, j) = get_Average4(m, i, j);}}return res;}void saveMat(Mat &M, string s){s += ".txt";FILE *pOut = fopen(s.c_str(), "w+");for (int i = 0; i<="" p="">for (int j = 0; j<="" p="">fprintf(pOut, "%lf", M.ATD(i, j));if (j == M.cols - 1) fprintf(pOut, "\n");else fprintf(pOut, " ");}}fclose(pOut);}void getHornSchunckOpticalFlow(Mat img1, Mat img2){ double lambda = 0.05;Mat u = Mat::zeros(img1.rows, img1.cols, CV_64FC1); Mat v = Mat::zeros(img1.rows, img1.cols, CV_64FC1); Mat fx = get_fx(img1, img2);Mat fy = get_fy(img1, img2);Mat ft = get_ft(img1, img2);int i = 0;double last = 0.0;while (1){Mat Uav = get_Average4_Mat(u);Mat Vav = get_Average4_Mat(v);Mat P = fx.mul(Uav) + fy.mul(Vav) + ft;Mat D = fx.mul(fx) + fy.mul(fy) + lambda;Mat tmp;divide(P, D, tmp);Mat utmp, vtmp;utmp = Uav - fx.mul(tmp);vtmp = Vav - fy.mul(tmp);Mat eq = fx.mul(utmp) + fy.mul(vtmp) + ft;double thistime = mean(eq)[0];cout << "i = " << i << ", mean = " << thistime << endl; if (i != 0 && fabs(last) <= fabs(thistime)) break;i++;last = thistime;u = utmp;v = vtmp;}saveMat(u, "U");saveMat(v, "V");imshow("U", u);imshow("v", v);waitKey(20000);}int main(){Mat img1 = imread("table1.jpg", 0);Mat img2 = imread("table2.jpg", 0);img1.convertTo(img1, CV_64FC1, 1.0 / 255, 0);img2.convertTo(img2, CV_64FC1, 1.0 / 255, 0); getHornSchunckOpticalFlow(img1, img2);// waitKey(0);return 0;}图1 HS光流法原始图像(之一)图2：HS光流法计算结果：U。
视觉里程计原理(二)特征匹配与追踪(LK光流法)
TermCriteria termcrit=TermCriteria(TermCriteria::COUNT+TermCriteria::EPS, 30, 0.01);//指定光 流法搜索算法收敛迭代的类型 calcOpticalFlowPyrLK(img1, img2, points1, points2, status, err, winSize, 3, termcrit, 0, 0.001);
Machine Perception and Interaction Group (MPIG)
Pyramid Implementation
Initial guess
Machine Perception and Interaction Group (MPIG)
Eliminate errors
example
Machine Perception and Interaction Group (MPIG)
optical flow
What’s optical flow?
Machine Perception and Interaction Group (MPIG)
Machine Perception and Interaction Group (MPIG)
rich feature descriptors
example
code FlannBasedMatcher matcher; std::vector< DMatch > matches; matcher.match(descriptors1,descriptors2,matches); Mat img_matches; drawMatches( img1, keypoints1, img2, keypoints2, matches, img_matches ); //-- Draw matches imshow("Matches", img_matches ); //-- Show detected matches
LK光流算法总结
运动目标检测之Lucas-Kanade光流算法读书笔记视觉是人类感知自身周围复杂环境最直接有效的手段之一，而在现实生活中大量有意义的视觉信息都包含在运动中，人眼对运动的物体和目标也更敏感，能够快速的发现运动目标。
随着计算机技术、通信技术、图像处理技术的不断发展，计算机视觉己成为目前的热点研究问题之一。
而运动目标检测是计算机视觉研究的核心课题之一，融合了图像处理、模式识别、人工智能、自动控制、计算机等众多领域的先进技术，在军事制导、视觉导航、视频监控、智能交通、医疗诊断、工业产品检测等方面有着重要的实用价值和广阔的发展前景。
一目标检测运动目标检测运动目标检测是指从序列图像中将运动的前景目标从背景图像中提取出来。
目前,已有的运动目标检测方法按照算法的基本原理可以分为三类:背景差分法，帧间差分法和光流法。
1背景差分法背景差分法又称背景减除法，背景差分法的原理是将当前帧与背景图像进行差分来得到运动目标区域，但是需要构建一幅背景图像，这幅背景图像必须不含运动目标，并且应该能不断的更新来适应当前背景的变化，构建背景图像的方法有很多，比较常用的有基于单个高斯模型的背景构建，基于混合高斯模型的背景构建，基于中值滤波器的背景构造，基于卡尔曼滤波器的背景构造，基于核函数密度估计的背景模型构造。
缺点：因为要求背景是静止的，所以背景的变化，场景中有很多干扰，比如场景中有树枝和叶子在风中晃动、水面的波动等等，还有照明的变化和天气的变化等都可能影响检测的结果2帧间差分法帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法，它可以很好地适用于存在多个运动目标和摄像机移动的情况。
当监控场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析视频或图像序列的运动特性，确定图像序列中有无物体运动。
图像序列逐帧的差分，相当于对图像序列进行了时域下的高通滤波。
LK光流法和三帧差分法的运动目标检测算法
LK光流法和三帧差分法的运动目标检测算法谢红;原博;解武【摘要】The three?frame difference method is one of the most common moving target detection algorithms at pres?ent. Its execution is quite fast, and there inevitable exists various disturbances, and it is susceptible to the environ?mental noise. This method is also likly to form large cavities inside the detected moving targets, which affects the fi?nal result of the detection. To solve these problems, this article combines the three?frame difference method with the Lucas?Kanade optical flow method. The Lucas?Kanade optical flow method is used to calculate and get the general rectangular areas containing the moving targets. Different thresholds are selected inside and outside the determined regions to extract the moving targets by the three?frame difference method, and then to constitute a kind of three?frame difference method that has rated thresholds. The corners calculated by the optical flow method are used to im?prove the contours of the targets. In this way, the threshold segmentation of the traditional three?frame difference method is converted into another mode, which combines the threshold segmentation with the region segmentation. The experimental results show that, the improved algorithm has good noise immunity and can get better detection re?sults than the three?frame difference method.%三帧差分法是目前较为常见的运动目标检测算法之一.它的执行速度较快,但是它会存在各种干扰以及易受到环境噪声的影响,而且容易在检测到的运动目标内部产生较大的空洞,以致影响到最后的检测效果.针对这些问题,将Lucas?Kanade光流法与三帧差分法进行结合.利用Lucas?Kanade光流法计算得到运动目标的大致矩形区域.在确定的区域内外通过选取不同的阈值利用三帧差分算法提取运动目标,构成一种分级阈值的三帧差分法.并且利用前面光流法计算得到的角点来完善目标轮廓.这样将传统三帧差分算法的阈值分割转换成阈值分割与区域分割相结合的模式.试验结果表明,该改进算法具有良好的抗噪性,能够得到比原算法更好的检测效果.【期刊名称】《应用科技》【年(卷),期】2016(043)003【总页数】6页(P23-27,33)【关键词】目标检测;检测算法;三帧差分法;LK光流法;抗噪性;阈值分割;区域分割【作者】谢红;原博;解武【作者单位】哈尔滨工程大学信息与通信工程学院,黑龙江哈尔滨150001;哈尔滨工程大学信息与通信工程学院,黑龙江哈尔滨150001;哈尔滨工程大学信息与通信工程学院,黑龙江哈尔滨150001【正文语种】中文【中图分类】TP911.73运动目标检测就是将视频序列中的运动目标与所在的背景图像相分离，从而可以获得目标的前景，也就是确切的运动目标。
用金字塔lk光流算法
任务名称：用金字塔LK光流算法介绍金字塔LK光流算法是一种经典的计算机视觉算法，它用于估计图像序列中的运动信息。
该算法基于LK光流算法的改进版本，通过建立图像金字塔来提高算法的性能和稳定性。
本文将对金字塔LK光流算法进行全面、详细、完整的探讨，从算法原理到应用案例，帮助读者深入理解和应用该算法。
一、LK光流算法简介1.1 光流光流是指图像中物体表面上的一点在连续帧之间的运动模式。
计算光流能够帮助我们了解图像序列中物体的运动轨迹和速度信息。
1.2 LK光流算法原理LK光流算法通过在图像中选择一些特征点，并跟踪这些特征点在连续帧之间的运动，来计算光流。
算法基于以下假设： - 图像亮度在局部区域内是恒定的； - 特征点的像素位置在连续帧之间变化很小。
算法包括以下步骤： 1. 选取特征点：在第一帧图像中，选择一些特征点作为跟踪目标。
2. 计算图像亮度梯度：对第一帧图像进行梯度计算，得到每个像素点的梯度信息。
3. 迭代计算：对于每个特征点，使用迭代的方式估计该点在下一帧图像中的位置。
4. 光流计算：通过迭代计算得到的像素点位移，计算出每个特征点的光流向量。
1.3 LK光流算法存在的问题传统的LK光流算法对于大位移和纹理模糊的情况下效果不佳。
为了解决这个问题，我们可以引入金字塔LK光流算法。
二、金字塔LK光流算法2.1 金字塔金字塔是一种图像尺度空间的表示方法。
通过金字塔，可以在不同尺度上分析图像的特征。
金字塔可以分为高斯金字塔和拉普拉斯金字塔两种。
2.2 金字塔LK光流算法原理金字塔LK光流算法在传统的LK光流算法基础上引入金字塔，旨在解决位移较大的情况。
算法主要有以下步骤： 1. 构建金字塔：对图像序列构建高斯金字塔，得到不同尺度的图像。
2. 从金字塔顶层开始，将每一层的光流向下传递到更低的尺度上。
3. 在每一层上计算新的光流，在下一层细化计算结果。
4. 最后通过插值法得到所有层的光流。
2.3 金字塔LK光流算法的优势•对位移较大的情况鲁棒性较强。
用金字塔lk光流算法
用金字塔lk光流算法
金字塔LK光流算法是计算机视觉领域中常用的一种光流估计方法。
它利用图像金字塔的多尺度结构提高了光流估计的准确性和鲁棒性。
该算法首先对输入图像进行高斯金字塔分解，然后在每个尺度上计算局部区域的光流向量。
接着，将上一尺度计算的光流向量作为当前尺度的初始值，继续计算对应的光流向量，直到达到最低尺度。
最终，将所有尺度计算的光流向量进行插值和平滑后，得到最终的光流场。
金字塔LK光流算法的优点在于它可以处理不同尺度的运动物体，并且可以减少噪声的干扰。
但是，该算法需要计算多个尺度的金字塔图像，计算复杂度较高。
此外，在图像中存在大的物体运动或者背景复杂时，该算法的准确性会受到影响。
总之，金字塔LK光流算法是一种经典的光流估计方法，可以在
某些场景下取得良好的效果。
但是，需要根据实际情况选择适合的光流算法。
- 1 -。
lk光流法约束方程
lk光流法约束方程lk光流法约束方程是一种常用的计算机视觉算法，用于估计图像序列中相邻帧之间的运动信息。
该算法基于光流假设，即假设在相邻帧之间的像素点具有相似的灰度值，通过计算像素点的位移来估计运动。
lk光流法约束方程的基本原理是通过最小化误差函数来求解位移向量。
误差函数是由当前帧和下一帧之间灰度值的差异构成的，通过求解误差函数的导数来得到位移向量。
具体而言，lk光流法约束方程可以表示为：∑(∂I/∂x * ∂I/∂x + ∂I/∂y * ∂I/∂y) * u + ∑∂I/∂x * ∂I/∂y * v = -∑∂I/∂t * ∂I/∂x∑∂I/∂x * ∂I/∂y * u + ∑(∂I/∂y * ∂I/∂y + ∂I/∂x * ∂I/∂x) * v = -∑∂I/∂t * ∂I/∂y其中，I表示灰度图像，x和y分别表示像素坐标，u和v表示位移向量，∂I/∂x、∂I/∂y和∂I/∂t分别表示图像在x、y方向上的梯度和时间变化率。
lk光流法约束方程的求解过程可以分为以下几步：首先，计算当前帧和下一帧之间的灰度梯度，即∂I/∂x、∂I/∂y和∂I/∂t；然后，根据当前帧的像素点和灰度梯度，利用约束方程求解位移向量；最后，根据位移向量更新当前帧的像素点位置，得到下一帧的位置。
lk光流法约束方程的应用十分广泛。
在实际应用中，lk光流法可以用于目标跟踪、运动分析、光流估计等领域。
例如，在视频监控中，可以利用lk光流法来实现目标的自动跟踪，从而提供更准确的目标位置信息；在自动驾驶中，可以利用lk光流法来估计车辆的运动，从而实现车辆的自主导航。
尽管lk光流法约束方程在图像序列中的运动估计中具有广泛的应用，但也存在一些限制。
首先，lk光流法假设图像序列中的灰度值变化较小，对于大幅度的运动或者光照变化较大的场景，其估计结果可能不准确。
其次，lk光流法对于纹理较少的区域或者运动较快的物体也容易出现错误的估计结果。
lk光流法约束方程是一种常用的计算机视觉算法，通过最小化误差函数来估计图像序列中相邻帧之间的运动信息。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
运动目标检测之Lucas-Kanade光流算法读书笔记视觉是人类感知自身周围复杂环境最直接有效的手段之一，而在现实生活中大量有意义的视觉信息都包含在运动中，人眼对运动的物体和目标也更敏感，能够快速的发现运动目标。
随着计算机技术、通信技术、图像处理技术的不断发展，计算机视觉己成为目前的热点研究问题之一。
而运动目标检测是计算机视觉研究的核心课题之一，融合了图像处理、模式识别、人工智能、自动控制、计算机等众多领域的先进技术，在军事制导、视觉导航、视频监控、智能交通、医疗诊断、工业产品检测等方面有着重要的实用价值和广阔的发展前景。
一目标检测运动目标检测运动目标检测是指从序列图像中将运动的前景目标从背景图像中提取出来。
目前,已有的运动目标检测方法按照算法的基本原理可以分为三类:背景差分法，帧间差分法和光流法。
1背景差分法背景差分法又称背景减除法，背景差分法的原理是将当前帧与背景图像进行差分来得到运动目标区域，但是需要构建一幅背景图像，这幅背景图像必须不含运动目标，并且应该能不断的更新来适应当前背景的变化，构建背景图像的方法有很多，比较常用的有基于单个高斯模型的背景构建，基于混合高斯模型的背景构建，基于中值滤波器的背景构造，基于卡尔曼滤波器的背景构造，基于核函数密度估计的背景模型构造。
缺点：因为要求背景是静止的，所以背景的变化，场景中有很多干扰，比如场景中有树枝和叶子在风中晃动、水面的波动等等，还有照明的变化和天气的变化等都可能影响检测的结果2帧间差分法帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法，它可以很好地适用于存在多个运动目标和摄像机移动的情况。
当监控场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析视频或图像序列的运动特性，确定图像序列中有无物体运动。
图像序列逐帧的差分，相当于对图像序列进行了时域下的高通滤波。
缺点：不能提取出对象的完整区域，只能提取出边界；同时依赖于选择的帧间时间间隔。
对快速运动的物体，需要选择较小的时间间隔，如果选择不合适，当物体在前后两帧中没有重叠时，会被检测为两个分开的物体：而对慢速运动的物体，应该选择较大的时间差，如果时间选择不适当，当物体在前后两帧中几乎完全重叠时，则检测不到物体。
3光流算法光流，它是一种运动模式，这种运动模式指的是一个物体、表面、边缘在一个视角下由一个观察者（比如眼睛、摄像头等）和背景之间形成的明显移动。
光流技术，如运动检测和图像分割，时间碰撞，运动补偿编码，三维立体视差，都是利用了这种边缘或表面运动的技术。
光流是空间运动物体在观测成像面上的像素运动的瞬时速度,光流的研究是利用图像序列中的像素强度的时域变化和相关性来确定各自像素位置的运动,即研究图像灰度在时间上的变化与场景中物体结构及其运动的关系。
图1 运动场与光流场对应关系图光流算法评估了两幅图像的之间的变形，它的基本假设是体素和图像像素守恒。
它假设一个物体的颜色在前后两帧没有巨大而明显的变化。
基于这个思路，我们可以得到图像约束方程。
不同的光流算法解决了假定了不同附加条件的光流问题。
二Lucas–Kanade算法在计算机视觉中，Lucas–Kanade光流算法是一种两帧差分的光流估计算法。
这个算法是最常见，最流行的。
它由Bruce D. Lucas 和 Takeo Kanade提出。
它假定在所考虑的像素的局部邻域，本质上光流是恒定的，由此利用最小二乘法原则对邻域所有像素求解基本光流方程。
Lucas–Kanade光流法是一种基于梯度的局部参数化光流估计方法,该算法假定在一个空间尺寸的邻域E中光流矢量是恒定的,然后使用加权最小二乘法(weighted least squares)估计光流。
它计算两帧在时间t 到t + δt之间每个像素点位置的移动。
由于它是基于图像信号的泰勒级数，这种方法称为差分，这就是对于空间和时间坐标使用偏导数。
LK算法基于以下三个假设：1）亮度恒定。
2）时间连续或者是运动是“小运动”。
3）空间一致，临近点有相似运动，保持相邻。
假设1亮度恒定的假设即为了保证其等号成立不受亮度的影响，假设2是为了保证KLT 能够找到点，假设3则为以下原因假设，即对于同一个窗口中，所有的点的偏移量都相等。
图像约束方程可以写为：I (x ,y ,t ) = I (x + δx ,y + δy,t + δt ) （1）其中，(x, y, t) 为在（x,y）位置的像素。
我们假设移动足够的小，那么对图像约束方程使用泰勒公式，我们可以得到：（3）的梯度，用一阶差分代替一阶微分，于是光流基本计算公式有一般形式：X y t I u I v I +=- （4）u, v 分别是I(x,y,t)的光流向量中x ，y 的组成。
和则是图像在(x ,y ,t )这一点相应方向的差分 。
方程④有两个未知量，尚不能被解决，这也就是所谓光流算法的光圈问题。
那么要找到光流向量则需要另一套解决的方案。
而Lucas-Kanade 算法是一个非迭代的算法。
将上式写为矩阵相乘形式：x y t u I I I v ⎡⎤⎡⎤=-⎢⎥⎣⎦⎣⎦g （5）LK 光流：假设像素流在一个大小为m*m(m>1)的小窗中是一致的，那么从像素1...n , n = m^2 中可以得到下列一组方程：（6）图2 LK 光流算法示意图将⑥写成矩阵的形式，则有：（7）式⑦两个个未知数但是有多于两个的方程，这个方程组自然是个超定方程，也就是说方程组有冗余为了解决这个超定问题，我们采用最小二乘法解Au b =r r的向量u ：（8）得到： 1()T T u A A A b -=r r （9）考虑矩阵的可逆性：22[]x x yT x y y I I I A A I I I =∑∑∑∑ （10）其中的求和是从1到n 。
于是得：（11）加权窗口：述普通的最小二乘解对窗口n 个像素qi 一视。
事实上，通常对于靠近中心像素p 的像素更多的权重会更好。
介于此，人们使用最小二乘方程的加权版本：（12）（13）计算的：（14）权重w 通常被设置为qi 和p 之间距离的高斯函数。
三LK 光流法改进算法1 LK 方法的金字塔改进LK 方法有一个缺陷，小速度，亮度不变以及区域一致性都是较强的假设，并不很容易得到满足。
如当物体运动速度较快时，假设不成立，那么后续的假设就会有较大的偏差，使得最终求出的光流值有较大的误差。
我们设邻域窗口半径为w,则光流d 定义为最小化残差方程ϵ的速度：（15）考虑物体的运动速度较大时，算法会出现较大的误差。
那么就希望能减少图像中物体的运动速度。
一个直观的方法就是，缩小图像的尺寸。
假设当图像为400×400时，物体速度为[16 16],那么图像缩小为200×200时，速度变为[8,8]。
缩小为100*100时，速度减少到[4,4]。
所以在源图像缩放了很多以后，原算法又变得适用了。
所以光流可以通过生成原图像的金字塔图像，逐层求解，不断精确来求得。
假设图像的宽高每次缩放为原来的一般，共缩放了Lm层，则第0层为原图像。
设已知原图的速度向量为d，则每一层的速度为（16）基于金字塔的光流法的大概步骤如下：现在最深层Lm中求解光流。
这次计算的结果反馈给上一次Lm-1，作为该层初始时的光流值得估计g。
就这样一层一层的向上反馈，直到最高层，即原图。
对于每一层L，上方程变为：（17）每一层的计算结果通过如下方程反馈给上一层作为初始的光流估计：（18）由于金字塔的缩放减小了光流值，最底层的光流估计值可以设为0，即（19）图3 金字塔光流示意图2前后光流估计算法统的光流计算方法主要是基于灰度守恒和光流场的平滑性假设，但这些假设在阴影、边界和遮挡性的地方不再成立，为此，对其进行改进。
前向－后向光流方程：（20）光流约束方程为：（21）尽管Lucas－Kanade光流法计算简单，光流估计精度较高，但它有一个致命缺点，假定邻域Ω各像素点光流保持恒定，而且光流计算依赖于窗口权重函数，这意味着如果在邻域Ω存在严重违反光流约束方程的点或邻域Ω运动不连续，将使得估计的光流可靠性严重降低。
为此，引入Hessian矩阵判断领域Ω每点对于基本约束方程的“良态性”。
方程⑰分别对x和y求偏导数,可得：（22）写成矩阵形式，即：（23）定义Hessian矩阵：（24）Hessian矩阵的条件数：（25）其中、分别为Hessian矩阵H的最大特征值和最小特征值，可以通过Hessian 矩阵的条件数大小来判断方程(23)解的稳定性，如果Hessian矩阵的条件数很大则方程(23)为病态方程，对应的Hessian矩阵秩很小，其解不稳定，计算的光流不可靠；如果Hessian 矩阵的条件数接近1，对应的Hessian矩阵秩很大，方程(23)为良态，其解鲁棒性较好。
由此可以通过计算Hessian矩阵的条件数来剔除邻域Ω不可靠点。
Hessian矩阵的条件数很好地刻画了线性方程(11)解的稳定性，而且条件数越大，对应的Hessian矩阵的秩越小，为此可以先利用Hessian矩阵剔除邻域Ω不可靠点，并把各点对应条件数的倒数作为该点权重，其算法如下：(1)计算图像中每点的一阶和二阶梯度；(2)分别计算每点对应Hessian矩阵的秩det(H)和条件数Cond（H），设定阈值τ，并对每个邻域Ω的 ) (X W 进行归一化处理,则：(3)采用加权最小二乘法求解式(21)光流场(u,v)。
四总结如上所述，光流法基本思想是像素守恒，其思想简单，易于理解。
LK算法是对光流法的改进，在光流法上假设了小窗口光流一致原则和小运动以及亮度守恒，使得光流的求解变得非常的简单，并且能够进行大量实际应用。
但是，正是由于LK算法假设性太强，使得其应用受到极大限制。
所以出现了好多改进算法。
金字塔光流算是针对其小运动假设而做的改进，其用缩小图像尺寸的方法来较小运动矢量。
而前后光流算法可以剔除光流不一致或跳动较大的点，放松光流一致的假设的条件。
后续的改进算法还有很多，可以加上全局变量来处理遮挡的问题等等，目前只是学习的这里。
以上就是此次的读书笔记。