具有高斯噪声分布的线性回归模型，误差函数，对应的负对数似然函数，由式（3.12）给出。如果我们在数据点$$ n $$处，关于对误差函数贡献的参数向量$$ w $$求导数，它具有“误差”$$ y_n - t_n $$乘以特征向量$$ \phi_n $$的形式，其中$$ y_n = w^T\phi_n $$。同样的，对于结合logistic
sigmoid激活函数和交叉熵误差函数（4.90），或多类别交叉熵误差函数的softmax激活函数（4.108），我们都获得了同样简单的形式。现在我们证明，如果假设目标变量的条件分布是指数族分布，对应的激活函数为标准链接函数（canonical link function），那么这个结果是一个一般的结果。
再次使用式（4.84）给出的指数族分布限制。注意，这里我们把指数族分布的假设应用于目标变量$$ t $$，而不是4.2.4节中应用于输入向量$$ x $$。考虑目标变量的条件分布形式
$$
p(t|\eta,s) = \frac{1}{s}h\left(\frac{h}{s}\right)g(\eta)exp\left{\frac{\eta t}{s}\right} \tag{4.118}
$$
使用与推导式（2.226）时相同的方法，得到$$ t $$的条件均值（记作$$ y $$）为
$$
y \equiv \mathbb{E}[t|\eta] = -s\frac{d}{d\eta}\ln g(\eta) \tag{4.119}
$$
因此$$ y, \eta $$一定相关，我们把这个关系记作$$ \eta = \varphi(y) $$。
根据Nelder and Wedderburn(1972)的方法，我们把广义线性模型定义成$$ y $$是输入（或特征）变量线性组合的非线性函数，即
$$
y = f(w^T\phi) \tag{4.120}
$$
其中$$ f(\dot) $$在机器学习中被称为激活函数，$$ f^{-1}(\dot) $$在统计学中被称为连接函数。
现在考虑这个模型的对数似然函数，这是一个关于$$ \eta $$的函数，由
$$
\ln p(t|\eta,s) = \sum\limits_{n=1}^N \ln p(t_n|\eta,s) = \sum\limits_{n=1}^N \left{\ln g(\eta_n) + \frac{\eta_nt_n}{s}\right} + const \tag{4.121}
$$
其中我们假设所有观测共享共同的缩放参数（对应如服从高斯分布噪声的方差），因此$$ s, n $$是无关的。关于模型参数$$ w $$的对数似然函数的导数为
$$
\begin{eqnarray}
\nabla_w\ln p(t|\eta,s) &=& \sum\limits_{n=1}^N\left{\frac{d}{d\eta_n}\ln g(\eta_n) + \frac{t_n}{s}\right}\frac{d\eta_n}{dy_n}\frac{dy_n}{da_n}\nabla a_a \\
&=& \sum\limits_{n=1}^N\frac{1}{s}{t_n - y_n}\varphi'(y_n)f'(a_n)\phi_n \tag{4.122}
\end{eqnarray}
$$
其中$$ a_n = w^T\phi_n $$，且一起使用了$$ y_n = f(a_n) $$和式（4.119）关于$$ \mathbb{E}[t|\eta] $$的结果。现在，我们看到，如果我们的链接函数$$ f^{-1}(y) $$的形式为
$$
f^{-1}(y) = \varphi(y) \tag{4.123}
$$
那么表达式会得到极大的简化。这得到$$ f(\varphi(y)) = y $$，因此$$ f'(\varphi)\varphi'(y) = 1 $$。同样的，由于$$ a = f^{-1}(y) $$，得到$$ a = \varphi $$，因此$$ f'(a)\varphi'(y) = 1 $$。这种情况下，误差函数的梯度退化为
$$
\nabla\ln E(w) = \frac{1}{s}\sum\limits_{n=1}^N{y_n - t_n}\phi_n \tag{4.124}
$$
对于高斯分布$$ s = \beta^{−1} $$，而对于logistic模型$$ s = 1 $$。