简介
这是作者在“AI 可解释性”上的一次探索：像古典热力学那样，用统一语言解释 AI 行为。他选择机制最清晰的扩散模型，注意到反向去噪学的“浓度梯度”存在解析解——于是绕开神经网络，直接用解析解做生图实验，在高维像素与 PCA 隐空间里反复验证“过拟合与欠拟合”，观察泛化能力到底从哪来。
项目缘起
项目的起点，是一道更大的问题：AI 为什么能工作？作者把当下的 AI 比作工业革命前的热力学——蒸汽机早已改变世界，人们却连“热是什么”都没搞清。他希望能为 AI 建立一门“宏观现象—微观机理”的桥梁学科，先研究网络架构、损失函数、超参数如何影响模型表现。宏大问题需要一个入手点，他选择了机制最透明的扩散模型：前向加噪把清晰图片变成高斯噪声，模型学习“浓度梯度”把噪声推回流形。他注意到，扩散是高斯过程，浓度梯度存在解析解——既然神经网络学的就是这个东西，能不能不训练网络、直接用解析解生图？这个“玩具模型”由此开始。
项目概览
它怎么做
-
一个物理图像：训练图片是流形上的点，加噪是扩散，去噪是逆着浓度梯度流动。
-
一个解析解：用可直接计算的浓度梯度替代神经网络，从纯噪声反向生成图片。
-
一组对照实验：像素空间生成、人工引入误差模拟欠拟合、PCA 隐空间生成，逐层拆解“泛化”从哪来。
-
一个交互演示：二维粒子扩散动画，拖动滑块实时看加噪与去噪。
-
一台“显微镜”：用 PCA 观察隐空间主成分，发现数据集的隐性结构。
项目亮点
-
不用神经网络的扩散
直接套用解析解生图，把“黑盒”变成透明模型，每个步骤都可解释。
-
找到泛化的来源
用对照实验指出，神经网络的泛化恰恰来自“欠拟合”，而非更“聪明”。
-
会“缝合”的隐空间
PCA 把不同物品的特征组合，生成三叉戟与重锤融合的“三叉锤”。
-
看得见的隐空间
主成分暴露出数据集结构——药水瓶轮廓成为主成分，生成中药水格外清晰。
-
交互式二维演示
拖动滑块，粒子在浓度梯度里来回流动，扩散机制一目了然。
技术与方法
整个探索围绕一条主线：扩散模型的反向去噪等价于沿着“浓度梯度”把粒子推回流形，而这一梯度在高斯扩散下存在解析解。作者用解析解替代神经网络，在像素空间与 PCA 降维的隐空间分别做生成实验；为理解“欠拟合”，又在计算解析解时人为引入误差，比如对邻近位置的梯度取平均以抹平尖峰。项目附带二维粒子扩散的交互可视化，直观展示加噪与去噪过程。
成果与数据
以 Minecraft 700 多张物品材质为数据集（16×16 像素，768 维向量）。像素空间解析解能生成清晰的物品图，但严重过拟合，几乎只生成训练集中见过的物品；PCA 隐空间生成图变模糊，却出现“缝合怪”（三叉戟+重锤→三叉锤），且药水瓶因轮廓是主成分而格外清晰，直观暴露了隐空间的内部结构。
未来方向
- 从神经网络出发，反向逼近解析解，观察真实泛化机制。
- 用更简单的模型研究层间信息流动。
- 扩大数据集，验证“数据稀疏导致难泛化”的猜想。
- 让解析解拟合神经网络输出，寻找两者的桥梁。
- 长期目标：建立统一语言，定量描述 AI 行为。
