实时HDR图像合成中，运动伪影该如何彻底消除？

huangyhg

【背景场景】

车载环视系统在合成HDR全景图时，车辆行驶中采集的4个摄像头图像有明显的时间差（约40ms），导致合成的全景图在运动物体（旁边的车）边缘出现了明显的"鬼影"和撕裂。这个问题如何解决？

【HDR与运动伪影的矛盾】
HDR合成的核心是融合多曝光图像，但如果场景中存在运动物体，不同曝光图像中的物体位置不同，融合后就会产生重影、撕裂等伪影。

【解决方案】

**方案一：曝光同步硬件触发**
所有相机在同一时刻采集不同曝光图像，确保每组HDR图像来自同一时间点。
- 需硬件支持：相机必须支持硬件触发且触发延迟<1ms
- 多相机同步触发器（如BNC同步盒）确保时间一致性
- 最彻底的解决方案，但成本较高

**方案二：运动检测与替换融合**
① 先检测多曝光图像间的运动区域
② 用运动区域的最佳曝光帧替换融合图中的对应区域
③ 运动检测可用帧差法或光流法实现
缺点：运动检测本身有延迟和误检，且边界处理复杂

**方案三：Exposure Fusion（曝光融合，无需HDR重建）**
不生成HDR图像，直接用多曝光图像的对比度、饱和度等质量指标做加权融合：
融合权重 W(x,y) = Contrast(x,y)^α × Saturation(x,y)^β × WellExposedness(x,y)^γ
这种方法是"hdr-free"的，从根本上避免了运动伪影问题
缺点：不能用于需要精确亮度测量的场景

**方案四：基于深度学习的运动补偿**
用卷积网络预测运动物体的"位移场"，将所有曝光图像对齐到同一时刻再融合。
效果最好但计算量最大，适合嵌入式GPU部署。

【延伸思考】
如果相机是卷帘快门（Rolling Shutter），即使硬件触发同步了，每一行图像的曝光时间也略有不同，这对HDR合成有多大影响？全局快门相机在车载场景中是否是必须的？