算法与计算机科学colah.github.io编辑精选
可视化信息论:colah 的经典直观讲解
Visual Information Theory (2015)
2015 — 2019,它一次次回到首页
黑点是上首页(≥ 50 分)的那次投稿,空心点是没冲上去的投稿,点越大分数越高。
导读
这是 colah 的《Visual Information Theory》,用大量图解把概率分布、条件概率、熵、交叉熵、KL 散度和互信息等概念直观地串起来。文章借助“下雨/穿外套”等例子和面积式图示解释抽象公式,目标是让读者建立信息论的直觉。
为什么经久不衰:它把信息论里最抽象的概率与散度概念转化为可看的图形,既是优秀的入门直觉材料,也常被后来学习机器学习与统计的人反复引用。
HN 评论精选
可视化概率分布能显著降低学习门槛。
很喜欢概率分布的呈现方式。真希望我初学概率时就有这些图,那样能更快、更容易地传达这些概念。
bcheung查看英文原文
Love how the probability distributions are presented. I wish those diagrams were in the material when I was first learning probability. Would have communicated the concepts so much faster and easier.
指出马赛克图/strucplot 已有成熟实现。
好文章。对马赛克图(mosaic plots)更感兴趣的人可以留意,统计学家已经做了很多工作。R 里有很多不错的方案,例如 strucplot 框架,可以可视化多个定性变量之间的复杂关系。
samch93查看英文原文
Nice article. For those who are more interested in mosaic plots, statisticians have already done a lot of work on this issue. For R there are many nice solutions, e.g. the strucplot framework which allows to visualize complicated relationships between multiple qualitative variables (https://www.jstatsoft.org/article/view/v017i03).
KL 散度的解释很实用,信息论应用广泛。
我很喜欢这篇文章,非常易懂。最近我在研究随机最优控制的一些文献,多次遇到 KL 散度,但一直没真正理解。我本以为这只是一篇有趣的读物,没想到学到了直接有用的东西!信息论确实无处不在。
sebastos查看英文原文
I really enjoyed this article, it was very accessible. Recently I've been studying some literature on stochastic optimal control, and I've bumped into the KL-divergence concept a number of times, but never really understood it. I expected this article be a fun read, but I never expected to learn something so directly useful! Information theory really does show up everywhere.
批评可视化方法在变量数量和极端概率上的局限。
我常常避免这类可视化方法,因为:它们只适用于两个变量,而许多有趣问题需要深入更多变量;它们只适用于中等大小的数值,当 P<0.01 或 P>0.99 时不可读。所以它们很适合建立直觉(比如辛普森悖论例子),但真正解决问题时会发现受限。
tlb查看英文原文
I often avoid these sort of visual methods, because: - they only work with 2 variables, but many interesting problems require digging into more variables - they only work with medium-sized numbers, and aren't readable when P<0.01 or P>0.99 So they're great for gaining intuition (like the Simpson's Paradox example), but when you try to solve a real problem you find yourself boxed in.
历次讨论
同类还值得读
位运算技巧集
Bit Twiddling Hacks
斯坦福页面上的经典位运算技巧合集,收录了 popcount、前导/尾随零、位反转、交换、舍入等大量技巧,并附有解释和性能讨论。
算法与计算机科学上首页 8 次 · 2011–2024graphics.stanford.edu编辑精选如何不按平均评分排序
How Not To Sort By Average Rating
经典文章解释了为什么按平均评分排序不可靠:只有少量评价的条目(比如仅一条五星)会轻易排到最前,而评价数量的差异被忽略。
算法与计算机科学上首页 7 次 · 2009–2024evanmiller.org编辑精选数据结构可视化
Data Structure Visualizations
旧金山大学 David Galles 教授制作的数据结构与算法交互式可视化网站,涵盖 B 树、红黑树、排序、图算法等,可逐步操作观察其运行过程。
算法与计算机科学上首页 6 次 · 2011–2021cs.usfca.edu编辑精选1996 年以来的计算机科学最佳论文奖
Best Paper Awards in Computer Science since 1996
Jeff Huang 维护的一个汇总页面,收录了自 1996 年以来计算机科学各主要会议的“最佳论文奖”获奖名单,并按年份和会议整理,方便读者一站式浏览历届获奖论文。
算法与计算机科学上首页 6 次 · 2010–2018jeffhuang.com编辑精选算法(Jeff Erickson)
Algorithms, by Jeff Erickson
伊利诺伊大学 Jeff Erickson 教授的算法课教材,免费在线开放。
算法与计算机科学上首页 5 次 · 2018–2022jeffe.cs.illinois.edu编辑精选