一、背景与动机
在随机算法、蒙特卡罗模拟或概率建模中，我们常常希望从某个特定分布中生成随机变量样本。
然而，大多数编程语言或计算机硬件只提供均匀分布的随机数生成器，例如：
2025/10/23大约 2 分钟
一、算法概述
KNN（K-Nearest Neighbors，K 最近邻算法） 是一种基于实例的监督学习算法，用于分类和回归问题。
核心思想：
“物以类聚”——一个样本的类别大概率与它距离最近的样本类别相同。
KNN 不构建显式模型，而是直接利用训练样本进行预测，因此属于：
- 监督学习（Supervised Learning）
- 非参数模型（Non-parametric Model）
- 惰性学习（Lazy Learning）
2025/10/23大约 4 分钟
一、概念与作用
多项式变异（Polynomial Mutation）是一种连续变量的变异算子，广泛应用于进化算法（如 NSGA-II、MOEA/D）中。
其主要思想是：
通过一个可调的多项式分布实现“小扰动概率高，大扰动概率低”的变异机制，
以维持种群多样性并防止早熟收敛。
二、基本形式
设个体的第 个决策变量为 ，定义域为 。
变异操作为：
2025/10/23大约 5 分钟
一、背景与动机
传统遗传算法多使用二进制编码与单点交叉。
但在实际优化问题中，更自然的表示通常是实数编码。
因此，需要一种方法让实数编码的交叉操作仍然具备二进制交叉的特性。
SBX（Simulated Binary Crossover） 由 Deb 和 Agrawal（1995）提出，
其目标是在实数空间中模拟二进制交叉的“统计行为”。
2025/10/23大约 3 分钟
2025/10/23小于 1 分钟
一、算法简介
NPGA（Niched Pareto Genetic Algorithm） 是由 Horn、Nafpliotis 和 Goldberg 于 1994 年提出的早期多目标遗传算法。
它在多目标优化中引入了 小生境技术（Niching） 或 共享函数（Fitness Sharing），
用于保持 Pareto 前沿上解的多样性，防止解聚集在局部区域。
其核心思想是：
“用支配关系进行选择，用共享函数保持多样性。”
2025/10/23大约 3 分钟
NSGA-II（Non-dominated Sorting Genetic Algorithm II）：Deb 等于 2002 年提出，通过快速非支配排序、拥挤度距离与精英保留策略实现高效且分布均匀的多目标优化。
算法流程图
一、算法原理与核心机制
1. 多目标优化问题与帕累托支配
（1）问题定义
2025/10/23大约 13 分钟
2025/10/23小于 1 分钟
SPEA2（Strength Pareto Evolutionary Algorithm 2） 是 Zitzler、Laumanns 和 Thiele 于 2001 年提出的多目标进化算法。
它在 SPEA 的基础上改进了 适应度计算、外部精英集管理和密度估计机制，以更好地保持种群的多样性和收敛性。
算法流程图
一、算法原理与核心机制
1. 问题设定与基本符号
多目标优化问题定义为：
2025/10/23大约 12 分钟
| 优化问题类型 | 典型基准问题 / 模型 | 主要研究方向 |
|---|---|---|
| 连续优化（Continuous Optimization） | - Sphere 函数： - Rosenbrock 函数： - Rastrigin、Ackley、Griewank、Schwefel 函数 - CEC系列连续测试集（CEC2005/2013/2017） |
- 高维连续优化（10–100维） - 非凸、多峰函数优化 - 旋转/偏移不变性研究 - 混合函数与复杂景观分析 |
| 组合优化（Combinatorial Optimization） | - 旅行商问题（TSP） - 背包问题（Knapsack） - 作业车间调度（JSSP） - 车辆路径问题（VRP） - 图着色问题（Graph Coloring） |
- 离散编码设计与邻域搜索 - 混合群智能算法（如GA+ACO） - 大规模与动态调度优化 - 元启发式的多任务迁移优化 |
| 约束优化（Constrained Optimization） | - 压力容器设计 - 悬臂梁设计 - 焊接梁设计 - CEC2010/2020约束测试集 |
- 约束处理策略（惩罚函数、Deb规则、修复策略） - 可行性保持与动态罚项调节 - 混合差分进化（DE）与CMA-ES算法 |
| 多目标优化（Multi-objective Optimization, MOO） | - ZDT系列（ZDT1–ZDT6） - DTLZ系列（DTLZ1–DTLZ7） - WFG系列（WFG1–WFG9） - CEC多目标优化测试集 |
- 帕累托前沿近似与分布性分析 - NSGA-II、MOEA/D及其改进算法 - 高维多目标（>10目标）优化 - 决策偏好与交互优化 |
| 动态优化（Dynamic Optimization） | - 动态TSP（DTSP） - Moving Peak Benchmark (MPB) - 动态约束优化问题（DOPs） |
- 环境变化检测与预测 - 多种群与记忆机制 - 自适应学习与转移优化 - 在线优化与持续学习 |
| 鲁棒/随机优化（Robust & Stochastic Optimization） | - 不确定参数线性/非线性规划 - 随机TSP / 随机VRP - 鲁棒设计问题 |
- 鲁棒性建模与期望最优策略 - 随机场景采样与分布式优化 - 不确定性建模与贝叶斯优化 |
| 混合整数优化（Mixed Integer Optimization） | - 混合整数规划（MIP） - 混合Job Shop问题 - 能源调度优化 |
- 连续与离散变量协同优化 - 混合编码与约束修复机制 - 智能电网与微电网调度优化 |
| 工程优化（Engineering Optimization） | - 容器设计、梁结构优化 - 天线阵列优化 - PID参数整定 - 机械结构与控制系统设计 |
- 工程约束处理与可行性修复 - 多学科优化（MDO） - 基于仿真的黑盒优化 |
| 数据与机器学习优化（ML-related Optimization） | - 特征选择 / 特征子集优化 - 聚类优化（K-means改进） - 超参数优化 / 神经结构搜索（NAS） |
- 黑盒高维优化算法 - 基于梯度与元启发式的结合 - 自适应采样与代理模型优化 |
| 复杂混合优化（Hybrid & Multi-type Optimization） | - CEC混合测试函数 - 组合+连续混合设计问题 - 动态多目标约束问题 |
- 多层次优化（分解策略） - 多算法协同与迁移学习 - 算法框架统一化（如Auto-EA） |
2025/10/22大约 3 分钟