应用场景
在医学、新能源、工业化学、半导体量子器件、光电等领域的材料学研究的过程中，一个核心的需求就是算出相应化学结构的波函数，从量子力学来讲，这样就掌握了系统在各种条件下的演化轨迹模拟，从而能够研制具有更好性能、更低成本、更高稳定性的材料
QMC 基础
基态波函数具有一个很完美的性质，在所有满足费米子反对称性的波函数中，基态波函数恰好是使系统能量期望值达到最小的函数。 这就是量子力学中的变分原理（Variational Principle）：
Ψ 0 = argmin Ψ ∈ H A S , Ψ ≠ 0 E [ Ψ ] = argmin Ψ ∈ H A S , Ψ ≠ 0 ∫ Ψ ∗ ( R ) H ^ Ψ ( R ) d R ∫ ∣ Ψ ( R ) ∣ 2 d R \Psi_0 = \underset{\Psi\in\mathcal H_{\mathrm{AS}},\;\Psi\neq0}{\operatorname{argmin}} {E[\Psi]} = \underset{\Psi\in\mathcal H_{\mathrm{AS}},\;\Psi\neq0}{\operatorname{argmin}} \frac{\displaystyle\int \Psi^*(\mathbf R)\hat H\Psi(\mathbf R)\,d\mathbf R} {\displaystyle\int |\Psi(\mathbf R)|^2\,d\mathbf R}
Ψ 0 = Ψ ∈ H AS , Ψ = 0 argmin E [ Ψ ] = Ψ ∈ H AS , Ψ = 0 argmin ∫ ∣Ψ ( R ) ∣ 2 d R ∫ Ψ ∗ ( R ) H ^ Ψ ( R ) d R 在 N N N 3 N 3N 3 N
Variational Monte Carlo（VMC）采用了一个关键思想：将高维积分转化为概率分布下的期望，再通过蒙特卡洛采样近似计算
E [ Ψ ] = ∫ p Ψ ( R ) E l o c ( R ) d R = E R ∼ p Ψ [ E l o c ( R ) ] ≈ 1 M ∑ k = 1 M E l o c ( R ( k ) ) \begin{aligned} E[\Psi] &=\int p_\Psi(\mathbf R)E_{\mathrm{loc}}(\mathbf R)\,d\mathbf R\\[4pt] &=\mathbb E_{\mathbf R\sim p_\Psi} \left[E_{\mathrm{loc}}(\mathbf R)\right]\\[4pt] &\approx\frac{1}{M}\sum_{k=1}^{M} E_{\mathrm{loc}}(\mathbf R^{(k)}) \end{aligned}
E [ Ψ ] = ∫ p Ψ ( R ) E loc ( R ) d R = E R ∼ p Ψ [ E loc ( R ) ] ≈ M 1 k = 1 ∑ M E loc ( R ( k ) ) 通过马尔科夫链蒙特卡洛方法（MCMC） 按照波函数的概率密度 ∣ Ψ ∣ 2 |\Psi|^2 ∣Ψ ∣ 2
θ ∗ = argmin θ E R ∼ ∣ Ψ θ ∣ 2 / Z θ [ H ^ Ψ θ ( R ) Ψ θ ( R ) ] \theta^*=\underset{\theta}{\operatorname{argmin}}\; \mathbb E_{\mathbf R\sim |\Psi_\theta|^2/Z_\theta} \left[ \frac{\hat H\Psi_\theta(\mathbf R)} {\Psi_\theta(\mathbf R)} \right]
θ ∗ = θ argmin E R ∼ ∣ Ψ θ ∣ 2 / Z θ [ Ψ θ ( R ) H ^ Ψ θ ( R ) ] 蒙特卡洛解决的是高维积分的数值计算问题，而变分优化负责寻找能量最低的波函数
这里我们有了一个特别好的优化目标，我们把计算系统对应的「真实」波函数问题转化为 找到整体状态空间中「能量最小」的波函数，使用神经网络进行拟合，这个拟合是保真的
怎么满足费米子反对称性约束呢？交换行列式的两行会使其变号：det ( P A ) = sgn ( P ) det ( A ) \det(PA)=\operatorname{sgn}(P)\det(A) det ( P A ) = sgn ( P ) det ( A )
如果做平均场近似，我们有一个单体波函数乘积表示整个体系：Ψ M F ( R ) = ∏ i = 1 N ϕ i ( r i ) \Psi_{\mathrm{MF}}(\mathbf R)=\prod_{i=1}^{N}\phi_i(\mathbf r_i) Ψ MF ( R ) = ∏ i = 1 N ϕ i ( r i ) Ψ S D ( R ) = 1 N ! det [ ϕ j ( r i ) ] i , j = 1 N \Psi_{\mathrm{SD}}(\mathbf R) =\frac{1}{\sqrt{N!}} \det\left[\phi_j(\mathbf r_i)\right]_{i,j=1}^{N} Ψ SD ( R ) = N ! 1 det [ ϕ j ( r i ) ] i , j = 1 N
然而单电子轨道假设具有局限性，它忽略了电子之间的显著相互作用，因此定义依赖所有电子位置的多电子轨道：ϕ j ( r i ) ⟶ ϕ j , θ ( r i ; r 1 , … , r N ) \phi_j(\mathbf r_i) \quad\longrightarrow\quad \phi_{j,\theta}(\mathbf r_i;\mathbf r_1,\ldots,\mathbf r_N) ϕ j ( r i ) ⟶ ϕ j , θ ( r i ; r 1 , … , r N ) Ψ θ ( R ) = ∑ k = 1 K det [ ϕ j , θ ( k ) ( r i ; R ) ] i , j = 1 N \Psi_\theta(\mathbf R) = \sum_{k=1}^{K} \det\left[ \phi_{j,\theta}^{(k)}(\mathbf r_i;\mathbf R) \right]_{i,j=1}^{N} Ψ θ ( R ) = ∑ k = 1 K det [ ϕ j , θ ( k ) ( r i ; R ) ] i , j = 1 N h i ′ = ∑ j = 1 N softmax j ( q i ⊤ k j d ) ⏟ 电子 i 对电子 j 的注意力 v j \mathbf h_i' = \sum_{j=1}^{N} \underbrace{ \operatorname{softmax}_j \left( \frac{\mathbf q_i^\top\mathbf k_j}{\sqrt d} \right) }_{\text{电子 }i\text{ 对电子 }j\text{ 的注意力}} \mathbf v_j h i ′ = ∑ j = 1 N 电子 i 对电子 j 的注意力 softmax j ( d q i ⊤ k j ) v j
以上工作的效果都不错，但是他们是基于 VMC 的逻辑的，VMC寻找能量最低的逻辑是通过梯度下降，每次改变材料，都需要进行重复的训练，而不是像多数模型一样进行推理
这就是 foundation model 的意义，它可以通过一次训练，获得对于所有核素、材料、结构的理解，对于不同的材料进行重复推理
技术与方法
我的工作 OmniQMC 的当前成果就是基于Ferminet进行参数化，在 H 2 H_2 H 2 N 2 N_2 N 2
具体来说，我就是要在每个组件中增加基于 R R R R R R
首先在电子-核特征中我concat上了RBF，把标量 R R R
若 R R R R R R R R R
由于 N 2 N_2 N 2
未来方向
下一步更加困难的逻辑就是从神经网络能够理解标量 R R R
图神经网络
化学结构天然可以表示为一个带有几何信息的图 G = ( V , E , { Z i , a i } i ∈ V ) G=(V,E,\{Z_i,\mathbf a_i\}_{i\in V}) G = ( V , E , { Z i , a i } i ∈ V )
等变神经网络
物理系统具有许多天然的对称性。例如，将整个分子旋转一定角度，物理规律不会发生变化。我们希望网络不仅能够学习到这一事实，而且从结构上保证这一性质成立
对于一个对称变换 g g g
f θ ( g ⋅ x ) = g ⋅ f θ ( x ) f_\theta(g\cdot x) = g\cdot f_\theta(x)
f θ ( g ⋅ x ) = g ⋅ f θ ( x ) 直接把系统的物理对称性编码进神经网络
因此，网络不必分别学习一个分子处于不同朝向时的所有物理规律，而是直接利用对称性约束，把这些情况联系起来
FermiNet 其实也是一种等变神经网络
Ψ θ ( π R ) = sgn ( π ) Ψ θ ( R ) \Psi_\theta(\pi\mathbf R) = \operatorname{sgn}(\pi)\Psi_\theta(\mathbf R)
Ψ θ ( π R ) = sgn ( π ) Ψ θ ( R ) 通过网络结构直接保证了费米子反对称性，而不需要依靠训练数据让网络自行发现泡利不相容原理
后续我会进一步阅读并学习相关论文，并学习物理化学的内容，对我要解决的复杂化学结构场景有更深的理解
