MODULE 02 · WORLD 03 MOTION ESTIMATION

金字塔光流与运动追踪

通过图像金字塔从粗到细估计大位移，让 Lucas-Kanade 适用于更明显的运动。

公式推导 · Optical Flow Ix u + Iy v + It = 0 · LK · PYRAMID

金字塔参数

Coarse-to-Fine

样例选择金字塔层数每层迭代次数 3 窗口大小

显示金字塔显示粗到细路径显示累计位移显示跟踪轨迹

当前步骤

最高层位移--

累计位移--

最终残差--

跟踪状态等待估计

PYRAMIDAL OPTICAL FLOW PLAYGROUND

从粗到细估计大位移

图像金字塔 / Pyramid 3 levels coarse-to-fine

原始两帧与最终轨迹 Frame Pair · Final Track

图像金字塔层级 Pyramid · L3 / L2 / L1 / L0

累计位移与残差 Flow Accumulation · Residual

Build Pyramid

当前步骤解释

小位移假设 / Small Motion \(\text{apparent motion}(L)=\frac{\text{large motion}}{2^L}\) 降采样后 apparent motion 变小，LK 更容易在局部窗口内收敛。

粗到细传递 / Coarse-to-Fine \(\mathbf g_{L-1}=2\cdot(\mathbf g_L+\mathbf d_L)\) 上一层估计放大后作为下一层初值，再做局部修正。

失败对比 / Failure Check

单层 LK直接估计大位移，residual --

金字塔 LK粗到细修正，residual --

稀疏 vs 稠密

PyrLK 稀疏追踪只追踪角点等少量特征，输出轨迹点和误差。

Farneback 稠密光流为每个像素估计 flow[...,0]=u、flow[...,1]=v。

稠密光流

flow = cv2.calcOpticalFlowFarneback(
    prev, next, None,
    pyr_scale=0.5, levels=3,
    winsize=15, iterations=3,
    poly_n=5, poly_sigma=1.2, flags=0
)

常用 cartToPolar 把 u/v 转成幅值和方向，再映射到 HSV 可视化。

当前层状态

\(L_2 \rightarrow L_1 \rightarrow L_0\)

1
图像金字塔Pyramid
2
粗层估计Coarse Estimate
3
位移上采样Upsample Flow
4
细层修正Refine
5
最终轨迹Final Track