当神经网络应用于回归问题时，通常使用形式为
$$
E = \frac{1}{2}\sum\limits_{n=1}^N(y_n - t_n)^2 \tag{5.82}
$$
的平方和误差函数。其中为了记号的简洁，我们考虑单一输出的情形（推广到多个输出也是很直接的）。这样，我们可以把Hessian矩阵写成
$$
H = \nabla\nabla E = \sum\limits_{n=1}^N\nabla y_n\left(\nabla y_n\right)^T + \sum\limits_{n=1}^N(y_n - t_n)\nabla\nabla y_n \tag{5.83}
$$
的形式。如果网络已经在数据集上训练过，且输出$$ y_n $$恰好非常接近$$ t_n $$，那么式（5.83）的第二项会很小，可以被忽略。然而，更一般的情况下，忽略这一项可能更合适。这是因为：回忆一下，根据1.5.5节的讨论，最小化平方和损失的最优函数是目标数据的条件平均。这样，$$ (y_n − t_n) $$是 一个均值为0的随机变量。如果我们假设它的值与式（5.83）右侧的二阶导数项无关，那么在对于$$ n $$的求和项中，整个项的平均值将会等于零。
通过忽略式（5.83）的第二项，我们就得到了Levenberg-Marquardt近似，或称为外积近似（outer product approximation）（因为此时Hessian矩阵由向量外积的求和构造出来）由
$$
H \simeq \sum\limits_{n=1}^Nb_nb_n^T \tag{5.84}
$$
给出，其中因为输出单元的激活函数是恒等函数，所以$$ b_n = \nabla y_n = \nabla a_n $$。Hessian矩阵外积近似的计算是很容易的，因为它只涉及到误差函数的一阶导数，这可以通过使用标准的反向传播算法在$$ O(W) $$个步骤内高效地求出。通过简单的乘法，矩阵的元素可以在$$ O(W^2) $$个步骤内计算出。需要特别强调的一点是，这种近似只在网络被恰当地训练时才成立，对于一个一般的网络映射，式（5.83）的右侧的二阶导数项通常不能忽略。
在误差函数为交叉熵误差函数，输出单元激活函数为logistic sigmoid函数的神经网络中，对应的近似为
$$
H \simeq \sum\limits_{n=1}^Ny_n(1-y_n)b_nb_n^T \tag{5.85}
$$
对于具有softmax输出激活函数的多类别网络可以得到类似的结果。