MIStatlE
EN

← 知识地图∑ 数学基础

概率论

4 个概念，1 个已写；与 4 门其他学科共享概念或相互关联。先修的在左，同一章的圈在一起，通往这门课之外的关系挂在卡片上。

12 先修进阶 ∑概率论 推出 大数定律 KL 散度与交叉熵 典型集与 AEP ProbabilityFlow ODE Shannon 熵 → KL 散度与交叉熵 · 延伸 — KL 散度是相对熵：把熵从一个分布推广到两个分布之间。信息论 · Shannon 熵 → KL 散度与交叉熵 → VAE 与 ELBO · 应用 — ELBO 中的正则项是一个 KL 散度。→ 生成模型 · VAE 与 ELBO Shannon 熵 → 典型集与 AEP · 前置 — 典型集的大小由熵决定，约为 2^{nH}。信息论 · Shannon 熵 → Conditional Technique → Probability Flow ODE · 延伸 — 学到 score 之后，可以把 SDE 换成等价的确定性 ODE。生成模型 · Conditional Technique →
关系位置即顺序：沿轨道从左到右读卡片上方的标签通往这门课之外
节点概念定理方法已写待写1 / 4 已点亮

点一个概念查看它的说明和关系1 / 4 已点亮

概率论1/4

点一个节点，这里会显示它的说明，以及它和其他节点之间的关系。

这门课的关系一览5

  • 大数定律推出典型集与 AEP

    对 −log p(X) 使用大数定律，就得到 AEP。

  • Shannon 熵前置典型集与 AEP

    典型集的大小由熵决定，约为 2^{nH}。

  • Shannon 熵延伸KL 散度与交叉熵

    KL 散度是相对熵：把熵从一个分布推广到两个分布之间。

  • KL 散度与交叉熵应用VAE 与 ELBO

    ELBO 中的正则项是一个 KL 散度。

  • Conditional Technique延伸Probability Flow ODE

    学到 score 之后，可以把 SDE 换成等价的确定性 ODE。