卷积与滤波:局部计算如何提取视觉特征

卷积核、Patch、Stride、Padding、Dilation、多通道卷积与图像滤波过程可视化。

KERNEL · PATCH · FEATURE MAP

卷积整体对应关系

输入高亮 Patch 被抽取到中间,卷积核覆盖其上并逐元素相乘,结果写入右侧蓝色输出位置。

Step 1

输入矩阵 / 多通道输入

对应元素相乘 结果相加

Kernel 1

输出特征图

-

当前卷积计算画布

上方展示整体位置关系,下方展示该 Patch 与 Kernel 的逐元素乘加细节。

当前乘加过程

输出尺寸计算

卷积结构调研与可视化

从 1×1 Conv、空洞卷积和蛇形卷积出发,展示其在 Pointwise Conv、ASPP 和 DSConv 中的拓展应用。

1×1 卷积 → 通道融合

本系统展示:多通道加权求和 + 参数量对比
解决的问题

在不扩大空间感受野的前提下完成通道融合,并减少参数量。

核心思想

对同一位置的多个通道分别乘以 1×1 权重,再做加权求和得到输出。

代表方法

MobileNet 中的‌逐点卷积。

本系统如何简化展示

使用 3 个输入通道和 4 个输出通道,演示通道融合与参数量对比。

输入通道(同一位置) 输出(通道 #1)
输出 -

多个 1×1 Filter 输出的多个通道

1×1 卷积常作为‌逐点卷积使用,用于通道融合、通道压缩、升维和减少计算量。

空洞卷积 → 多尺度上下文

本系统展示:多 dilation 分支 + concat + 1×1 fusion
解决的问题

既要保留局部细节,又要获得更大范围的上下文信息。

核心思想

使用多个不同 dilation rate 的并行分支提取不同尺度感受野。

代表方法

DeepLab 系列中的 ASPP。

本系统如何简化展示

用 1×7×7 输入说明多分支输出、concat 与 1×1 fusion 的关系。

ASPP 通过多个不同 dilation rate 的并行空洞卷积分支获得不同尺度的感受野,用于融合局部细节和大范围上下文信息。

蛇形卷积 → 细长结构采样

本系统展示:标准采样 vs 固定路径 vs 动态路径
解决的问题

血管、道路、裂缝等细长弯曲结构不容易被规则方形窗口稳定捕捉。

核心思想

让采样路径更贴近结构走向,从而增强对细长目标的连续性感知。

代表方法

DSConv / DSCNet。

本系统如何简化展示

对比规则窗口、固定蛇形路径和教学版动态路径的采样路径加权和。

标准卷积

固定蛇形卷积

动态蛇形卷积

仅演示动态蛇形路径,并非论文中DSConv复现。 动态路径:从起点出发,每一步选择邻域中数值较高的位置作为下一个路径点。