您的位置首页 >人工智能 >

Wasserstein 距离近似与变体方法综述(A Survey of Wasserstein Distance Approximations and Vari

Wasserstein 距离也叫推土机距离,用来衡量两个概率分布之间的迁移代价,但是原生精确求解的计算开销很高,大规模高维数据场景直接算基本不可行,这篇综述就是把各类 Wasserstein 距离近似算法、衍生变体做归类梳理,对比它们的计算复杂度、误差边界、适用场景;很多做 GAN、域自适应、最优传输的人会踩坑,要么直接用原生 Wasserstein 距离导致训练极慢,要么选错近似方式出现梯度不稳定、偏差过大的问题,想要用好这套方法,要先分清精确 Wasserstein 距离的局限,看懂采样近似、熵正则、切片、子空间等不同近似路线,分清变体之间的差异,再根据数据维度、算力、误差容忍度挑选方案,最后搭配对应的理论约束,就能在保证效果的前提下压低计算成本。

一、Wasserstein 距离近似主流方案对比表

近似方案核心思路优点短板典型适用场景
熵正则 Wasserstein(Sinkhorn)给最优传输加熵正则,转化为矩阵缩放迭代,可快速求解速度快、可微分、适合梯度训练正则系数会带来偏差,正则太大会丢失分布结构Wasserstein GAN、域自适应、高维分布匹配
切片 Wasserstein 距离(SWD)把高维分布投影到多个一维方向,计算一维 Wasserstein 再取平均计算极快、无矩阵大小爆炸问题丢失高维空间里的联合结构信息图像特征、高维向量快速比对
随机采样近似从两个分布里采样有限样本,用样本集估算传输代价实现简单、内存友好方差受采样数量影响大,采样少误差明显大数据流、在线分布监控
子空间 / 低秩近似把传输矩阵约束到低秩,降低优化变量数量大幅减少存储开销强依赖分布本身具备低秩结构,不通用大规模矩阵型最优传输
Nyström 近似核方法思路,用少量地标点近似传输矩阵适合核化 Wasserstein 场景地标点选取会直接影响最终误差核最优传输、迁移学习

二、常见 Wasserstein 距离变体清单

  • W1(一阶 Wasserstein):对应曼哈顿代价,最常用,就是推土机距离基础版本
  • W2(二阶 Wasserstein):代价是欧氏距离平方,有更好的光滑性,适合连续分布优化
  • 条件 Wasserstein:带条件变量,衡量条件分布之间差异,适合因果、条件域迁移
  • 局部 Wasserstein:只比较分布局部区域,不强制全局对齐,降低对齐难度
  • 不平衡 Wasserstein:允许两个分布质量不相等,不用严格归一化,适配样本数量不对称场景
  • 加权 Wasserstein:给不同样本、区域分配权重,优先对齐关键样本

三、选型与落地排查步骤

  1. 确认任务约束:先明确数据维度、样本量、是否需要可导、能接受多大误差
  2. 排除原生精确 Wasserstein:高维、大样本场景原生线性规划求解速度慢,优先考虑近似方案
  3. 候选方案初选:追求训练稳定优先 Sinkhorn;追求极速比对优先切片 Wasserstein;样本不均衡优先不平衡变体
  4. 超参调优:Sinkhorn 重点调熵正则系数,切片 Wasserstein 重点调投影方向数量
  5. 误差校验:用低维小数据集对照精确 Wasserstein 距离,验证近似偏差是否可控
  6. 梯度测试:在深度学习训练链路里验证梯度是否稳定,避免梯度爆炸或者消失

四、核心难点清单

  1. 速度 - 偏差权衡:几乎所有 Wasserstein 距离近似方法都存在速度越快,引入偏差越大的问题
  2. 高维失效:原生 Wasserstein 距离本身在极高维下收敛很慢,近似方案会放大这个问题
  3. 梯度隐患:部分近似方式梯度有偏,放到 GAN、域自适应训练里容易出现模式崩溃
  4. 不平衡分布适配:标准 Wasserstein 要求两个分布总质量一致,真实数据经常不满足这个前提
  5. 超参敏感:Sinkhorn、切片 Wasserstein 的超参对结果影响很大,缺少通用自动调参方案

【相关 FAQ】

问题 1:Wasserstein 距离近似与变体方法综述里,Sinkhorn 熵正则近似为什么是深度学习里最常用的 Wasserstein 近似?

回答 1:Wasserstein 距离近似与变体方法综述里,Sinkhorn 熵正则近似把最优传输问题变成可快速迭代的矩阵缩放问题,全程可微分,能直接放进神经网络梯度回传,相比原生 Wasserstein 距离计算速度提升很多,所以 WGAN、域自适应场景大量使用。

问题 2:Wasserstein 距离近似与变体方法综述里,切片 Wasserstein 距离 SWD 和 Sinkhorn 近似怎么选?

回答 2:Wasserstein 距离近似与变体方法综述里,如果只是快速比对分布、不需要精细全局对齐,优先切片 Wasserstein 距离 SWD;如果需要做端到端训练、需要稳定的最优传输对齐,优先 Sinkhorn 熵正则近似。

问题 3:Wasserstein 距离近似与变体方法综述里,W1 和 W2 变体的核心差别是什么?

回答 3:Wasserstein 距离近似与变体方法综述里,W1 是一阶 Wasserstein,代价为 L1 距离,更鲁棒;W2 是二阶 Wasserstein,代价是 L2 平方,光滑性更好,求导更友好,但是对异常点更敏感。

问题 4:Wasserstein 距离近似与变体方法综述里,不平衡 Wasserstein 变体解决了什么痛点?

回答 4:Wasserstein 距离近似与变体方法综述里,标准 Wasserstein 距离要求两个分布总质量相等,不平衡 Wasserstein 变体放开这个约束,支持样本数量不一样、部分样本不需要匹配的场景,适配真实数据集分布不对等的情况。

【参考资料】

[2026-10-11](A Survey of Wasserstein Distance Approximations and Variants 综述解读)arXiv

[2026-05-20](Optimal Transport Approximation: Sinkhorn, Sliced and Beyond)arXiv

[2025-08-03](A Review of Variants and Approximations for Wasserstein Distances)IEEE Xplore

[2024-03-15](Sinkhorn 算法、切片 Wasserstein 原理与误差边界分析)阿里云开发者社区

【免责声明】

本文是 A Survey of Wasserstein Distance Approximations and Variants 综述的技术科普解读,不构成算法落地的直接工程方案;不同 Wasserstein 距离近似变体的误差边界、收敛特性依赖数据分布与超参;文中所有方案上线前需要在自有数据集上做误差、梯度稳定性测试;论文原始观点归属原作者,本文仅做通俗整理,最优传输理论细节请参考原文。

今日大家都在搜的词: