From 48e30aa923434c8ba4445e1c2f384270324e89e1 Mon Sep 17 00:00:00 2001 From: phonixer <35895359+phonixer@users.noreply.github.com> Date: Fri, 21 Jun 2024 16:42:44 +0800 Subject: [PATCH] Update rnn.md MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 笔误“惊异”--->“信息量” --- chapter_recurrent-neural-networks/rnn.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/chapter_recurrent-neural-networks/rnn.md b/chapter_recurrent-neural-networks/rnn.md index 94d43383e..539cccf19 100644 --- a/chapter_recurrent-neural-networks/rnn.md +++ b/chapter_recurrent-neural-networks/rnn.md @@ -263,7 +263,7 @@ Bengio等人首先提出使用神经网络进行语言建模 在这里,信息论可以派上用场了。 我们在引入softmax回归 -( :numref:`subsec_info_theory_basics`)时定义了熵、惊异和交叉熵, +( :numref:`subsec_info_theory_basics`)时定义了熵、信息量和交叉熵, 并在[信息论的在线附录](https://d2l.ai/chapter_appendix-mathematics-for-deep-learning/information-theory.html) 中讨论了更多的信息论知识。 如果想要压缩文本,我们可以根据当前词元集预测的下一个词元。