MIStatlE
EN

← 知识地图ψ 学习与智能系统

深度学习

5 个概念，3 个已写；与 4 门其他学科共享概念或相互关联。先修的在左，同一章的圈在一起，通往这门课之外的关系挂在卡片上。

12 先修进阶 ψ深度学习 应用 对比 随机梯度方法 Policy Gradient 缩放点积注意力 VAE 与 ELBO LeWorldModel /SIGReg MDP 与价值函数 → Policy Gradient · 前置 — 目标 J(θ) 定义在 MDP 的轨迹分布上。强化学习 · MDP 与价值函数 → KL 散度与交叉熵 → VAE 与 ELBO · 应用 — ELBO 中的正则项是一个 KL 散度。信息论 · KL 散度与交叉熵 → VAE 与 ELBO → Score Matching · 延伸 — 从潜变量模型的似然下界，走到直接学习 score 的生成目标。→ 生成模型 · Score Matching
关系位置即顺序：沿轨道从左到右读卡片上方的标签通往这门课之外
节点方法模型论文已写待写3 / 5 已点亮

点一个概念查看它的说明和关系3 / 5 已点亮

深度学习3/5

点一个节点，这里会显示它的说明，以及它和其他节点之间的关系。

这门课的关系一览5

  • KL 散度与交叉熵应用VAE 与 ELBO

    ELBO 中的正则项是一个 KL 散度。

  • MDP 与价值函数前置Policy Gradient

    目标 J(θ) 定义在 MDP 的轨迹分布上。

  • 随机梯度方法应用Policy Gradient

    策略梯度的更新是对 J(θ) 的随机梯度上升，收敛分析沿用随机非凸优化。

  • VAE 与 ELBO延伸Score Matching

    从潜变量模型的似然下界，走到直接学习 score 的生成目标。

  • VAE 与 ELBO对比LeWorldModel / SIGReg

    两者都学习潜变量表示：VAE 靠重建观测，LeWorldModel 只在潜空间预测，并靠 SIGReg 防塌缩。

Notes

这门课的笔记

在笔记页按这门学科筛选 →
深度学习论文研读 LeWorldModel / SIGReg：为什么不会塌缩？ 连接 latent prediction、表示塌缩与 SIGReg，辨认机制真正依赖的条件。 阅读 → 深度学习基础 缩放点积注意力：为什么除以 √dₖ？ 从点积方差、Softmax 饱和与梯度稳定性出发，推导 Transformer 中缩放因子的来历，并给出 PyTorch 实现。 阅读 →