光流跟踪为什么有些点跟不上

在视频序列中，物体帧间移动可表示为物体的运动速度



，该运动速度即为光流。通过数学建模，光流可表示为图像空域差分（XY平面梯度）与图像帧间差分（相邻两帧图像差）的函数。理想情况下，我们可以计算出图像上每一个点的运动速度，但存在两点问题：

1）光滑平面上图像空域差分与图像帧间差分均为0，故计算出光流速度为0；

2）在图像边缘上，由于光流计算观察一个较小邻域，无法计算出边缘方向上的运动速度（即孔径问题）。

因此，在光流跟踪中，需要对特殊点进行跟踪以避免以上问题。该特殊点称为角点，角点在邻域上至少两个方向上存在明显梯度变化，这就避免了无法跟踪问题。同时，在图像匹配应用中，角点或者类似的特征点也是多幅图像之间关联点。

通过定位角点，在角点上应用光流算法计算出对应角点的运动速度

什么是optical flow

1、optical flow （光流） 表示的是相邻两帧图像中每个像素的运动速度和运动方向。第t帧的时候A点的位置是(x1, y1)，那么我们在第t+1帧的时候再找到A点（能在下一帧中找到A点，就需要用到计算光流的各种方法，在openCI中可以实现），假如它的位置是(x2,y2)，那么我们就可以确定A点的运动了：(ux, vy) = (x2, y2) - (x1,y1)

然后将多个光流图进行累加，就能表示物体的运动轨迹，我自己是把它理解为像是在慢快门下拍车流形成的图（当然，我不知道这样理解是否正确）

2、关于光流图是否是灰度图像，查阅相关资料后我的结论是，光流图是灰度图像，可以将从光流图转换成彩色图进行显示。在一篇博客（）中说，“光流场是图片中每个像素都有一个x方向和y方向的位移，所以在上面那些光流计算结束后得到的光流flow是个和原来图像大小相等的双通道图像”

（这是Two-Stream Convolutional Networks for Action Recognition in Videos论文中显示的x,y通道图像）

而在例如用openCI中的“calcOpticalFlowFarneback来计算稠密光流并且用孟塞尔颜色系统来显示的结果图中，不同颜色表示不同的运动方向，深浅就表示运动的快慢了”

3、光流法的大致流程如下（原文地址：）：

 ①在一帧图像中选取大量的光流点（具体选取方法可以不同，如fast角点，随机选，等间隔选...)。

 ②计算所有光流点的运动矢量(常用方法有LK光流，HS光流等）。

 ③根据这些矢量和其它一些特征检测运动目标。

具体如下：1.首先在一帧图像内随机均匀选取k个点，并滤除那些邻域纹理太光滑的点，因为这些点不利于计算光流 2.计算这些点与上一帧图像的光流矢量，如上右图，此时已经可以看出背景运动的大概方向了 3.接下来的这一步方法因人而异了。2007年cvpr的一篇文章Detection and segmentation of moving objects in highly dynamic scenes的方法是把这些光流点的（x, y, dx, dy, Y, U, V)7个特征通过meanshift聚类来聚合到一起，最后形成运动目标轮廓。而我的方法很简单，只用到了(dx, dy)两个特征，如左图，首先把所有光流点投射到直角坐标，图中的坐标轴是(dx,dy), 然后通过meanshift找到密度***的(dx, dy)坐标点,也就是背景矢量最集中的位置（图中点的亮度越大代表该位置矢量的密度越大），如红圈所示,红圈外面的矢量就可以认为是运动目标了，如右图所示。

什么叫光流？

光流(optical flow)法是目前运动图像分析的重要方法，它的概念是由Gibso。于1950年首先提出的，是指时变图像中模式运动速度。因为当物体在运动时，它在图像上对应点的亮度模式也在运动。这种图像亮度模式的表观运动（apparent motion）就是光流。光流表达了图像的变化，由于它包含了目标运动的信息，因此可被观察者用来确定目标的运动情况。 由光流的定义可以引申出光流场，它是指图像中所有像素点构成的一种二维(2D)瞬时速度场，其中的二维速度矢量是景物中可见点的三维速度矢量在成像表面的投影。所以光流不仅包含了被观察物体的运动信息，而且还包含有关景物三维结构的丰富信息。 对光流的研究成为计算机视觉及有关研究领域中的一个重要部分。因为在计算机视觉中，光流扮演着重要角色，在目标对象分割、识别、跟踪、机器人导航以及形状信息恢复等都有着非常重要的应用。从光流中恢复物体三维结构和运动则是计算机视觉研究所面临的最富有意义和挑战性的任务之一。正是由于光流的这种重要地位和作用，使得众多的心理物理学家、生理学家和工程研究人员都加入了它的研究行列。十多年来，他们提出了许多种计算光流的方法，而且新的方法还在不断涌现。

光流定位无人机好用吗

1、不好用，光流依靠算法定位。适合近距离。

2、光流=摄像头，定位=对摄像头拍出的画面处理；

3、所以无人机光流定位飞高会不会失效要看光线是否模糊，焦距变化是否很大，

4、只要摄像头正常工作，光流定位就不会失效。反之，则会失效。

5、在无人机上光流定位通常是借助于无人机底部的一个摄像头采集图像数据，然后采用光流算法计算两帧图像的位移，进而实现对无人机的定位，这种定位手段配合GPS可以在室外实现对无人机的精准控制，并且在市内没有GPS信号的时候，也可以实现对无人机的高精度的定位，实现更加平稳的控制。

更多关于光流定位无人机好用吗，进入：查看更多内容

光流法是什么意思?

光流法是关于视域中的物体运动检测中的概念。用来描述相对于观察者的运动所造成的观测目标、表面或边缘的运动。

光流法在样型识别、计算机视觉以及其他影像处理领域中非常有用，可用于运动检测、物件切割、碰撞时间与物体膨胀的计算、运动补偿编码，或者通过物体表面与边缘进行立体的测量等等。

光流法的图像处理是指对图像进行分析、加工、和处理，使其满足视觉、心理或其他要求的技术。图像处理是信号处理在图像领域上的一个应用。目前大多数的图像均是以数字形式存储，因而图像处理很多情况下指数字图像处理。此外，基于光学理论的处理方法依然占有重要的地位。

光流(Optical flow)-视频分析基础概念

光流 是空间运动物体在 观察成像平面 上的像素运动的 瞬时速度 ，是利用图像序列中像素在时间域上的变化以及相邻帧之间的 相关性 来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。一般而言，光流是由于场景中前景目标本身的移动、相机的运动，或者两者的共同运动所产生的。考虑下图(图片来自 维基百科 )：

图中表示一个小球在连续5帧图像中的移动，箭头则表示小球的 位移矢量 。简单来说，光流是空间运动物体在观测成像平面上的像素运动的“瞬时速度”，光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，研究光流场的目的就是为了从图片序列中近似得到不能直接得到的现实中的 运动场 。光流应用于诸多领域：

在介绍光流的计算法之前有必要了解：光流之所以生效是依赖于这几个假设：

其实也很好理解，如果不满足以上条件，那么也找不到该像素在下一帧的位置，自然也无法计算出它的运动。

假设***帧图像中的像素 I(x, y, t) 在时间 dt 后移动到第二帧图像的 (x+dx, y+dy) 处。根据上述***条假设：灰度值不变，我们可以得到：

对等号右侧进行泰勒级数展开，消去相同项，两边都除以 dt ，得到如下方程：

其中：

上面的等式叫做光流方程。其中 f x 和 f y 的梯度，同样 f t 是时间方向的梯度。但 (u, v) 是不知道的。我们不能在一个等式中求解两个未知数。有几个方法可以帮我们解决这个问题，其中的一个是 Lucas-Kanade 法 。

这里就要用到上面提到的第二个假设条件，领域内的所有像素点具有相同的运动。Lucas-Kanade法就是利用一个3x3的领域中的9个像素点具有相同的运动，就可以得到9个点的光流方程(即上述公式)，用这些方程来求得 (u, v) 这两个未知数，显然这是个约束条件过多的方程组，不能解得精确解，一个好的解决方法就是使用最小二乘来拟合。求解过程：

这样我们跟踪一些点就能得到这些点的光流向量，但是这里还存在 尺度空间 的问题，简单来讲，直到现在我们还只是处理一些很小的运动，如果是大的运动那该怎么办？ 图像金字塔 。在图像金字塔顶层，小的运动被移除，大的运动转换成了小的运动，这样就能跟踪到了原本大的运动，重复计算图像金字塔不同层的图像的光流，我们就得到了在不同尺度空间上的光流。

光流的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于光流补帧、光流的信息别忘了在本站进行查找喔。