一、什么是方差分析？

方差分析（Analysis of Variance, ANOVA）用于检验多个总体均值是否相等。

其核心思想是比较：

• 组间变异（不同组均值之间的差异，解释为“因素效应”）
• 组内变异（组内个体间的随机差异，即“误差”）

记第 $i$ 组第 $j$ 个观测值为 $Y_{ij}$，方差分析要判断：

1. 适用场景

Friedman Test 用于比较三个或以上的算法在多个实例上的整体性能差异。

适用条件：

• 有 k 个算法（k ≥ 3）
• 在 N 个相同的实例上测试
• 数据不要求服从正态分布

---

2. 基本思想

Friedman 不关心具体数值，而是比较每个实例中算法的相对排名（Rank）。

如果某算法在多数实例中排名持续靠前，则其平均秩统计上显著更低。

---

3. 操作步骤

Step 1：对每个实例对算法进行排序（按某指标如 GD）

1. 适用场景

Wilcoxon Signed-Rank Test 用于比较两个相关算法/模型在多次实验（如多个实例）上的性能是否存在显著差异。

适用条件：

• 数据是成对的（如算法 A 与算法 B 在同一个实例上的值）
• 不要求数据服从正态分布（非参数方法）
• 检验差值的符号与秩是否有系统性偏向

非常适合用于两个优化算法的性能对比。

---

2. 基本思想

该检验检查两组成对数据差值的：

• 方向性（正负）
• 差异大小的排序（绝对值秩）

1. p 值的核心概念

p 值用于衡量 在原假设 $H_0$ 为真时，观察到当前样本数据（或更极端）出现的概率。

本文梳理统计学中常见的假设检验类型，从功能、适用场景和数据类型角度进行系统总结。

---

一、参数检验（Parametric Tests）

1. Z 检验（Z-test）

功能：检验总体均值或比例是否等于某个值，或两个总体均值/比例是否相等。
适用条件：

• 样本量大（一般 $n ≥ 30$）
• 或总体方差已知
  常用场景：
• 总体均值检验
• 两总体均值差检验
• 总体比例（如合格率）检验

1. 基本概念

共识排列指：给定多个来源（评委、模型、算法）的排序，求一个能“最好代表所有排序意见”的最终排序。

设对象集合为
$C=\{c_1,c_2,\dots,c_n\}$
有 $m$ 个输入排序（对对象集合元素的排列）：
$R^{(1)},R^{(2)},\dots,R^{(m)}$

1. 直观理解

一致估计量指的是：
当样本量不断增大时，估计量会越来越接近真实参数值。

换句话说：

更多数据 → 更准。

---

2. 数学定义

设

• 参数为 $\theta$
• 样本 $X_1, X_2, \dots, X_n$
• 估计量为 $\hat\theta_n$

1. 概念概述

Kendall tau 距离（Kendall tau distance）用于衡量两个排序（permutations）之间相对顺序的不一致程度。
它统计所有顺序相反的成对元素数量，也称为 discordant pairs。

---

2. 数学定义

给定两个排序 $\sigma$ 和 $\pi$（元素相同但顺序可能不同），定义 Kendall tau 距离为：

1. 什么是封闭形式表达式（Closed-form Expression）

封闭形式表达式指的是一个数学量可以用有限个常见的数学运算和函数直接表示出来的表达式。

一般允许使用的元素包括：

• 基本运算：加、减、乘、除、幂（$+$、$-$、$\times$、$\div$、幂运算）
• 常见函数：指数函数（$e^x$）、对数函数（$\ln x$）、三角函数（$\sin x,\cos x,\tan x$）、反三角函数（$\arcsin x$ 等）、幂函数（$x^a$）、根式等
• 常数：$e$、$\pi$、有理数、代数数等