QMC Scaling Law · 容量边界

简介

QMC Scaling Law 是一份 AI for Science 研究，对标大模型的 Scaling Law，为神经网络量子蒙特卡洛寻找“容量标度律”：保持单电子能量误差不变，看分子电子数增长时所需的最小参数量如何变化。

项目缘起

项目的起点是一道类比：大语言模型的 Scaling Law 告诉人们，只要扩大参数量、增加训练数据，模型效果就会稳定提升。作者好奇，神经网络量子蒙特卡洛（NNQMC）中是否也存在这样的“通道”——神经网络波函数到底能走多远？LAVA 优化器算法通过前瞻变分和虚时演化机制打破了局部极小值限制，使 NNQMC 训练中的能量和方差严格服从幂律衰减。但他发现，计算资源受硬件与工程因素影响很大，而模型参数量才是更接近本质的衡量：它代表模型在理论上的表达能力。于是把问题收紧为：在恒定单电子平均能量误差下，体系电子数与所需最小参数量是什么关系？为了可比，他选择电子数均匀增长、结构相似的共轭烯烃分子系列展开实验。

技术与方法

1. 定变量：设定恒定单电子平均能量误差 $\Delta \varepsilon = \frac{\vert{}E - E_{\text{exact}}\vert{}}{N_e}$ 为控制变量，以体系电子数 $N_e$ 为自变量，以达到目标精度所需的最小模型参数量 $N_p^*$ 为因变量。

2. 选体系：选用强弱关联特性一致的共轭烯烃同系物，避免不同电子关联模式混淆容量标度关系：

   $\text{C}_2\text{H}_4$ ($N_e = 16$)

   $\text{C}_4\text{H}_6$ ($N_e = 30$)

   $\text{C}_6\text{H}_8$ ($N_e = 44$)

   $\text{C}_8\text{H}_{10}$ ($N_e = 58$)

3. 设网络：选用 LapNet 架构，配合 LAVA优化器，在 JaQMC 训练框架中按核心比例消减隐层通道，为每个分子配置 4 组阶梯架构（深度, 宽度, 注意力头数, 行列式数量）：

   大：$(4, 256, 4, 32)$

   中：$(4, 128, 4, 16)$

   小：$(4, 96, 2, 16)$

   微：$(4, 64, 2, 8)$

4. 外推能量：记录训练后的总能量 $E$ 与局部能量方差 $V$，利用 LAVA 的能量-方差外推关系（LAVA-SE）$E = kV + b$ 计算截距 $b$，获取理论收敛时的精确基态能量。

5. 拟合标度：对每个分子拟合局部对数标度线 $\ln(\Delta \varepsilon) = \ln(\alpha) - \beta \ln(N_p)$，带入目标控制误差逆向解出理论所需的 $N_p^*$，最终拟合出 $N_e - N_p^*$ 标度律曲线。

项目亮点

1. 找到容量标度律

   所需最小参数量随电子数约按 3.9 次方增长，为“要多大模型才够”给出第一手回答。

2. 定位真实瓶颈

   前向计算随参数量线性增长，而常用优化器求逆使算力超线性增长，优化器才是效率短板。

3. 实战中的稳定性改进

   面对数值爆炸，借鉴物理约束思想为优化器增加阻尼项，让训练更稳定。

成果与数据

• 标度律结果：维持恒定单电子平均能量误差时，最小参数量随电子数约按 3.9 次方增长，即$N_p^* = 0.265 \cdot N_e^{3.92}$。
• 容量验证：按拟合外推，约 100 电子体系仅需约 1830 万参数，极为轻量。
• 瓶颈定位：优化器求逆使算力开销超线性（约 1.5 次方），是当前效率瓶颈。
• 稳定性方案：增加物理系数惩罚项后，受限硬件下训练收敛更稳定。

未来方向

• 设计更高效的优化器，绕开当前求逆算力瓶颈。
• 构建基座模型：输入分子电子参数，用同一模型表示不同体系，实现“一次训练、多处复用”。
• 扩展到二维材料、蛋白质等电子关联更弱的体系，建立更多评估维度。
• 在更大硬件规模上验证标度律的外推边界。

参考文献

1. Jiang, D., Wen, X., Chen, Y., Li, R., Fu, W., Pham, H. Q., Chen, J., He, D., Goddard, W. A., III, Wang, L., & Ren, W. (2025). Neural Scaling Laws Surpass Chemical Accuracy for the Many-Electron Schrödinger Equation. arXiv preprint arXiv:2508.02570.