AI 与机器学习asimovinstitute.org
神经网络动物园
The Neural Network Zoo
2016 — 2019，它一次次回到首页
黑点是上首页（≥ 50 分）的那次投稿，空心点是没冲上去的投稿，点越大分数越高。
导读
Asimov Institute 发布的“神经网络动物园”，用一组统一的图示把各类神经网络架构（从感知机、RNN、CNN 到自编码器、玻尔兹曼机等）的节点类型和连接方式可视化，并区分了不同架构中节点本身的差异。页面多年间多次登上 HN 首页，成为常被引用的神经网络架构速查图。
为什么经久不衰：它用一张图把纷繁的神经网络架构放进统一框架，既是入门者的地图，也随时间不断被拿来对照新架构，是少有的经年常新的参考页。
HN 评论精选
架构的爆炸式增长反映该领域仍缺乏统一的理论基础
干得好。可惜的是，过去几年各种能用的神经网络架构层出不穷，这恰恰说明我们还缺乏一个像样的统一理论框架，能从基本原理出发解释什么有效、什么无效、为什么。我们还没到那一步。
cs702查看英文原文
Good job. Alas, the proliferation of different kinds of neural net architectures that work, over the past few years, is a sign that we lack a decent unifying theoretical framework that can explain, from fundamental principles, what works, what doesn't, and why. We're not there yet.
亮点在于把节点层面的差异讲清楚，而非只讲拓扑
太棒了。我很喜欢它清楚地展示了不同“网络类型”之间节点本身的细节可以有多大差异。作为非专家，我发现一般性介绍往往先讲拓扑和行为，把这个区别埋得很深。我更愿意先了解这些细节，再把行为理解为涌现出来的东西，否则读行为描述时感觉更像魔法。
tomxor查看英文原文
This is excellent. I love how they have clearly illustrated how the actual details of nodes themselves can differ greatly between "network types". As a non-expert I have found this distinction is usually more buried in general descriptions, which tend to initially focus on topology and behaviour. I prefer to know those details upfront so I can then map the behaviour as an emergence as I learn about the behaviour, otherwise when reading about the behaviour it sounds more like magic.
读者好奇该图鉴如何跟上新架构的演进
这已经是一年前的内容了。很好奇 2017 年这个“动物园”又长了多少。主要的网络创新是什么？Capsule 和 Transformer 吗？
anewhnaccount2查看英文原文
The SVM one is a little odd I think? Should all linear leaners (including naive Bayes, logistic regression, perceptron and SVM) - not share the same architecture in terms of nodes? As far as I understand it, the difference is rather in how the discriminator is learnt?
质疑图中对线性学习器架构差异的刻画
SVM 那个有点奇怪？按我的理解，所有线性学习器（包括朴素贝叶斯、逻辑回归、感知机和 SVM）在节点结构上应该共享同一种架构，区别在于判别器是如何学出来的？
anewhnaccount2查看英文原文
The SVM one is a little odd I think? Should all linear leaners (including naive Bayes, logistic regression, perceptron and SVM) - not share the same architecture in terms of nodes? As far as I understand it, the difference is rather in how the discriminator is learnt?
希望它扩展成持续维护的 wiki
这个太赞了。要是能发展成一个完整的 wiki 就好了。
debacle查看英文原文
This is fantastic. It'd be nice if this was developed into a full-fledged wiki.
历次讨论
同类还值得读
如何写一个拼写纠正器
How to Write a Spelling Corrector
Peter Norvig 用一个几十行的 Python 程序演示如何做拼写纠正：先用编辑距离（删除、插入、替换、换位）生成所有可能的候选词，再用从大量文本中统计出的词频概率，选出…
AI 与机器学习上首页 10 次 · 2007–2022norvig.com编辑精选面向黑客的概率编程与贝叶斯方法
Probabilistic Programming and Bayesian Methods for Hackers (2013)
《黑客的贝叶斯方法与概率编程》是一本开源的贝叶斯统计入门书，以 Python/PyMC 代码和交互式 Jupyter Notebook 为主线，强调“先实践、后数学”的学习路径，…
AI 与机器学习上首页 5 次 · 2013–2018camdavidsonpilon.github.io编辑精选神经网络黑客指南
Hacker's Guide to Neural Networks
Andrej Karpathy 写的神经网络入门教程，面向程序员，从最简单的表达式求导讲起，逐步推导出反向传播和梯度下降，最后引出神经网络。
AI 与机器学习上首页 4 次 · 2014–2019karpathy.github.io编辑精选神经网络能逼近任意函数的可视化证明
A visual proof that neural nets can approximate any function
这一章来自 Michael Nielsen 的在线书《Neural Networks and Deep Learning》，用 sigmoid 单元叠加成局部隆起/平滑阶跃的图示…
AI 与机器学习上首页 4 次 · 2014–2022neuralnetworksanddeeplearning.com编辑精选论乔姆斯基与统计学习的两种文化
On Chomsky and the Two Cultures of Statistical Learning
Norvig 回应 Chomsky 对统计语言模型批评的文章，围绕“统计学习能否解释语言”展开，比较生成与解释、少参数模型与 Shannon 式高参数统计模型。
AI 与机器学习上首页 4 次 · 2011–2025norvig.com编辑精选