提升方法最早起源于统计学习理论，得到了泛化误差的上界。然而，这些上界过于宽松，没有实际的价值。提升方法的实际表现要远优于上界给出的值。Friedman et al.(2000)根据对一个指数误差函数的顺序最小化，给出了提升方法的一个不同的且非常简单的表述。
考虑下面定义的指数误差函数
$$
E = \sum\limits_{n=1}^Nexp{-t_nf_m(x_n)} \tag{14.20}
$$
其中$$ f_m(x) $$是一个根据基分类器$$ y_l(x) $$的线性组合定义的分类器，形式为
$$
f_m(x) = \frac{1}{2}\sum\limits_{l=1}^m\alpha_ly_l(x) \tag{14.21}
$$
$$ t_n \in {−1, 1} $$是训练集目标值。我们的目标是关于权系数$$ \alpha_l $$和基分类器$$ y_l(x) $$最小化$$ E $$。
然而，我们不进行误差函数的全局最小化，而是假设基分类器$$ y_1(x),...,y_{m−1}(x) $$以及它们的系数$$ \alpha_1,...,\alpha_{m−1} $$固定，因此我们只关于$$ \alpha_m $$和$$ y_m(x) $$进行最小化。分离出基分类器$$ y_m(x) $$的贡献，我们可以将误差函数写成
$$
\begin{eqnarray}
E &=& \sum\limits_{n=1}^N exp\left{-t_nf_{m-1}(x_n) - \frac{1}{2}t_n\alpha_my_m(x_n)\right} \\
&=& \sum\limits_{w_n^{(m)}}exp\left{-\frac{1}{2}t_n\alpha_my_m(x_n)\right} \tag{14.22}
\end{eqnarray}
$$
其中，系数$$ w_n^{(m)} = exp{−t_nf_{m-1}(x_n)} $$可以被看做常数，因为我们只针对$$ \alpha_m $$和$$ y_m(x) $$进行最如果我们将被$$ y_m(x) $$正确分类的数据点的集合记作$$ T_m $$，并且将剩余的误分类的点记作$$ M_m $$，那么我们可以将误差函数写成下面的形式
$$
\begin{eqnarray}
E &=& e^{-\alpha_m / 2}\sum\limits_{n \in T_m}w_n^{(m)}e^{\alpha_m / 2}\sum\limits_{n \in M_m}w_n^{(m)} \\
&=& (e^{\alpha_m / 2} - e^{-\alpha_m / 2})\sum\limits_{n=1}^Nw_n^{(m)}I(y_m(x_n) \neq t_n) + e^{-\alpha_m / 2}\sum\limits_{n=1}^Nw_n^{(m)} \tag{14.23}
\end{eqnarray}
$$
当我们关于$$ y_m(x) $$进行最小化时，我们看到第二项是常数，因此这等价于对（14.15）进行最小化，因为在求和式前面的整个可乘性因子不影响最小值的位置。类似地，关于$$ \alpha_m $$最小化，我们得到了式（14.17），其中$$ \epsilon_m $$由式（14.16）定义。
根据式（14.22），我们看到，找到$$ \alpha_m $$和$$ y_m(x) $$之后，数据点的权值使用下面的公式进行更新
$$
w_n^{(m+1)} = w_n^{(m)} exp\left{-\frac{1}{2}t_n\alpha_my_m(x_n)\right} \tag{14.24}
$$
使用下面的事实
$$
t_ny_m(x_n) = 1 - 2I(y_m(x_n) \neq t_n) \tag{14.25}
$$
我们看到在下一次迭代中，权值$$ w_n^{(m)} $$的更新为
$$
w_n^{(m+1)} = w_n^{(m)} exp\left(-\frac{\alpha_m}{2}\right)exp{\alpha_mI(y_m(x_n) \neq t_n)} \tag{14.26}
$$
由于$$ exp(− \alpha_m / 2) $$与$$ n $$无关，因此我们看到它对于所有数据点的权值都贡献一个相同的因子，从而可以丢弃。这样我们就得到了式（14.18）。
最后，一旦所有的基分类器被训练完毕，新数据点通过计算由（14.21）定义的组合函数的符号进行分类。由于因子$$ 1 / 2 $$不影响符号，因此可以省略，得到了式（14.19）。