无约束优化中，我们习惯先令导数或梯度为零，再判断得到的点是不是极小值。但有了约束，最优点可能恰好位于边界，目标函数的梯度并不为零：它仍然指向某个下降方向，只是那个方向不允许走。

拉格朗日乘数法处理等式约束；KKT（Karush–Kuhn–Tucker）条件把这一思路推广到同时含有等式与不等式约束的问题。理解它的关键，是弄清楚哪些约束在最优点真正限制了移动，以及这些限制如何与目标函数的梯度平衡。以下默认目标函数和约束函数连续可微，变量为连续变量。优化问题的分类与常见求解方法可先参阅优化理论概览。

概率分布可以由分布函数、概率质量函数或概率密度函数描述，也可以转换到“频域”研究。特征函数（Characteristic Function）就是概率分布的傅里叶变换。它始终存在，能够唯一确定分布，并且会把独立随机变量之和转化为函数的乘积，因此特别适合处理卷积、分布收敛与中心极限定理。

1. 定义

设 $X$ 是实值随机变量，其特征函数定义为

压缩映射定理（Contraction mapping theorem）

概念

不动点（Fixed point）

若 $x \in X$ 满足

一、什么是方差分析？

方差分析（Analysis of Variance, ANOVA）用于检验多个总体均值是否相等。

其核心思想是比较：

• 组间变异（不同组均值之间的差异，解释为“因素效应”）
• 组内变异（组内个体间的随机差异，即“误差”）

记第 $i$ 组第 $j$ 个观测值为 $Y_{ij}$，方差分析要判断：

1. 适用场景

Friedman Test 用于比较三个或以上的算法在多个实例上的整体性能差异。

适用条件：

• 有 k 个算法（k ≥ 3）
• 在 N 个相同的实例上测试
• 数据不要求服从正态分布

---

2. 基本思想

Friedman 不关心具体数值，而是比较每个实例中算法的相对排名（Rank）。

如果某算法在多数实例中排名持续靠前，则其平均秩统计上显著更低。

---

3. 操作步骤

Step 1：对每个实例对算法进行排序（按某指标如 GD）

1. p 值的核心概念

p 值用于衡量 在原假设 $H_0$ 为真时，观察到当前样本数据（或更极端）出现的概率。

本文梳理统计学中常见的假设检验类型，从功能、适用场景和数据类型角度进行系统总结。

---

一、参数检验（Parametric Tests）

1. Z 检验（Z-test）

功能：检验总体均值或比例是否等于某个值，或两个总体均值/比例是否相等。
适用条件：

• 样本量大（一般 $n ≥ 30$）
• 或总体方差已知
  常用场景：
• 总体均值检验
• 两总体均值差检验
• 总体比例（如合格率）检验

1. 适用场景

Wilcoxon Signed-Rank Test 用于比较两个相关算法/模型在多次实验（如多个实例）上的性能是否存在显著差异。

适用条件：

• 数据是成对的（如算法 A 与算法 B 在同一个实例上的值）
• 不要求数据服从正态分布（非参数方法）
• 检验差值的符号与秩是否有系统性偏向

非常适合用于两个优化算法的性能对比。

---

2. 基本思想

该检验检查两组成对数据差值的：

• 方向性（正负）
• 差异大小的排序（绝对值秩）

1. 基本概念

共识排列（Consensus Ranking）指：给定多个来源（评委、模型、算法）的排序，求一个能“最好代表所有排序意见”的最终排序。

设对象集合为
$C=\{c_1,c_2,\dots,c_n\}$
有 $m$ 个输入排序（对对象集合元素的排列）：
$R^{(1)},R^{(2)},\dots,R^{(m)}$

1. 直观理解

一致估计量（Consistent Estimator）指的是：
当样本量不断增大时，估计量会越来越接近真实参数值。

换句话说：

更多数据 → 更准。

---

2. 数学定义

设

• 参数为 $\theta$
• 样本 $X_1, X_2, \dots, X_n$
• 估计量为 $\hat\theta_n$