1. 适用场景
Friedman Test 用于比较三个或以上的算法在多个实例上的整体性能差异。
适用条件:
- 有 k 个算法(k ≥ 3)
- 在 N 个相同的实例上测试
- 数据不要求服从正态分布
2. 基本思想
Friedman 不关心具体数值,而是比较每个实例中算法的相对排名(Rank)。
如果某算法在多数实例中排名持续靠前,则其平均秩统计上显著更低。
3. 操作步骤
Step 1:对每个实例对算法进行排序(按某指标如 GD)
2025/12/4大约 2 分钟
Friedman Test 用于比较三个或以上的算法在多个实例上的整体性能差异。
适用条件:
Friedman 不关心具体数值,而是比较每个实例中算法的相对排名(Rank)。
如果某算法在多数实例中排名持续靠前,则其平均秩统计上显著更低。
Wilcoxon Signed-Rank Test 用于比较两个相关算法/模型在多次实验(如多个实例)上的性能是否存在显著差异。
适用条件:
非常适合用于两个优化算法的性能对比。
该检验检查两组成对数据差值的: