← 知识地图∑ 数学基础
信息论
4 个概念，1 个已写；与 4 门其他学科共享概念或相互关联。先修的在左，同一章的圈在一起，通往这门课之外的关系挂在卡片上。
关系位置即顺序：沿轨道从左到右读卡片上方的标签通往这门课之外
节点概念定理模型已写待写1 / 4 已点亮
点一个概念查看它的说明和关系1 / 4 已点亮
信息论1/4
点一个节点，这里会显示它的说明，以及它和其他节点之间的关系。
这门课的关系一览6
对 −log p(X) 使用大数定律，就得到 AEP。
Shannon 熵前置典型集与 AEP
典型集的大小由熵决定，约为 2^{nH}。
Shannon 熵延伸KL 散度与交叉熵
KL 散度是相对熵：把熵从一个分布推广到两个分布之间。
KL 散度与交叉熵应用VAE 与 ELBO
ELBO 中的正则项是一个 KL 散度。
VAE 与 ELBO延伸Score Matching
从潜变量模型的似然下界，走到直接学习 score 的生成目标。
VAE 与 ELBO对比LeWorldModel / SIGReg
两者都学习潜变量表示：VAE 靠重建观测，LeWorldModel 只在潜空间预测，并靠 SIGReg 防塌缩。
Notes