AI 与机器学习arxiv.org
机器学习的纸笔练习题
Pen and Paper Exercises in Machine Learning (2022)
2022 — 2025，它一次次回到首页
黑点是上首页（≥ 50 分）的那次投稿，空心点是没冲上去的投稿，点越大分数越高。
导读
这是 arXiv 上的一份机器学习习题集，每道笔算推导题都配有详细的解答，覆盖线性模型、支持向量机、神经网络等主题。作者在前言里指出，很多教材的习题答案要么过于简略、要么干脆没有，于是这些习题反而成了挫败感的来源；这份文档正是为了弥补这一点而编写。
为什么经久不衰：它把"动手推导"这一学习环节做完整了：题目和详尽解答都公开可得，因此在首次发布三年后仍被反复翻出，适合用来检验自己是否真正理解了基础公式。
HN 评论精选
赞同前言对"习题答案太简略或缺失"的批评，认为这正是学习者受挫的原因。
前言说得太对了，让我想起很多挫败的经历："用进废退"这句话我们都听过，语言和运动技能久不练习就会生疏。练习对保持技能很重要，学习新技能时更是关键，这也是许多教材和课程都配习题的原因。可习题解答往往过于简略，有时甚至根本没有。习题于是不再是练习新技能的机会，反而成了挫败感的来源，最后被读者直接跳过。
icedistilled查看英文原文
The intro speaks truth and brings back a lot of frustrating experiences: >We may have all heard the saying “use it or lose it”. We experience it when we feel rusty in a foreign language or sports that we have not practised in a while. Practice is important to maintain skills but it is also key when learning new ones. This is a reason why many textbooks and courses feature exercises. However, the solutions to the exercises feel often overly brief, or are sometimes not available at all. Rather than an opportunity to practice the new skills, the exercises then become a source of frustration and are ignored. Typical exercise soltion: How to draw an owl. 1. Draw some circles. 2. Draw the rest of the $@#% owl.
期待的是不靠公式、纯靠画图的练习方式，并分享了自己用 Iris 数据集和透明胶片教学的经验。
我本来以为会是那种风格：直接在纸上画图，不写公式。我以前就用打印出来的 Iris 数据集做过类似练习，发给学员一张透明胶片让他们画出分类边界，再给他们另一张纸上的验证集。从高中生到管理者都很喜欢这个练习。我还做了个交互版本。
stared查看英文原文
I expected some in that line: https://generalabstractnonsense.com/2017/03/A-quick-look-at-Support-Vector-Machines/ That is - drawing things on paper, no formulae. I used to do similar exercises with the printed Iris dataset and giving people a transparent foil to draw the classifier. Then, giving them another sheet of paper with the validation dataset. The exercise was loved by people from high-school students to managers. I developed an interactive version, https://github.com/stared/which-ml-are-you. Unfinished as a game, but it works.
指出电子版摆脱了纸质篇幅限制，因此能提供如此详尽的解答。
我一直以为教材不给详细解答是因为篇幅限制。数字 PDF 正好能摆脱这种限制，这份文档的解答之详细确实令人印象深刻。
throwawayarnty查看英文原文
I always thought that textbooks never gave detailed solutions because of space limitations. Digital pdf is a great way to break free of these limits and this document is impressive indeed with the detailed solutions.
认为神经网络部分的分析性练习偏少，建议补充反向传播推导、单神经元模型等内容。
内容不错！不过我有点意外，里面关于神经网络的分析性结果不多。比如我喜欢让深度学习方向的候选人现场推导反向传播；在单神经元模型里也能展示很多有趣的结果。
arcanus查看英文原文
Some good stuff here! I'm surprised they didn't show many analytical results in neural networks. For example, I like making candidates for research in deep learning derive back propagation. You can show a wide variety of interesting results in single neuron models as well.
历次讨论
同类还值得读
如何写一个拼写纠正器
How to Write a Spelling Corrector
Peter Norvig 用一个几十行的 Python 程序演示如何做拼写纠正：先用编辑距离（删除、插入、替换、换位）生成所有可能的候选词，再用从大量文本中统计出的词频概率，选出…
AI 与机器学习上首页 10 次 · 2007–2022norvig.com编辑精选面向黑客的概率编程与贝叶斯方法
Probabilistic Programming and Bayesian Methods for Hackers (2013)
《黑客的贝叶斯方法与概率编程》是一本开源的贝叶斯统计入门书，以 Python/PyMC 代码和交互式 Jupyter Notebook 为主线，强调“先实践、后数学”的学习路径，…
AI 与机器学习上首页 5 次 · 2013–2018camdavidsonpilon.github.io编辑精选神经网络黑客指南
Hacker's Guide to Neural Networks
Andrej Karpathy 写的神经网络入门教程，面向程序员，从最简单的表达式求导讲起，逐步推导出反向传播和梯度下降，最后引出神经网络。
AI 与机器学习上首页 4 次 · 2014–2019karpathy.github.io编辑精选神经网络能逼近任意函数的可视化证明
A visual proof that neural nets can approximate any function
这一章来自 Michael Nielsen 的在线书《Neural Networks and Deep Learning》，用 sigmoid 单元叠加成局部隆起/平滑阶跃的图示…
AI 与机器学习上首页 4 次 · 2014–2022neuralnetworksanddeeplearning.com编辑精选论乔姆斯基与统计学习的两种文化
On Chomsky and the Two Cultures of Statistical Learning
Norvig 回应 Chomsky 对统计语言模型批评的文章，围绕“统计学习能否解释语言”展开，比较生成与解释、少参数模型与 Shannon 式高参数统计模型。
AI 与机器学习上首页 4 次 · 2011–2025norvig.com编辑精选