AI 与机器学习karpathy.github.io编辑精选
深度强化学习：从像素玩 Pong
Deep Reinforcement Learning: Pong from Pixels
2016 — 2025，它一次次回到首页
黑点是上首页（≥ 50 分）的那次投稿，空心点是没冲上去的投稿，点越大分数越高。
导读
Andrej Karpathy 的经典教程：用 NumPy 从零实现策略梯度（REINFORCE）算法，让神经网络只看原始像素学会打 Atari 的 Pong，代码仅一百多行、不依赖任何深度学习框架。文中详细讲解了策略梯度的直觉、奖励分配与方差缩减（baseline/advantage）等要点，并对比了价值函数方法。
为什么经久不衰：它把一个听起来高深的领域拆解成可手写、可跑通的百行代码，是多年后仍被反复推荐的最佳深度强化学习入门读物。
HN 评论精选
对初学者而言，机器学习像当年的编程一样充满魔力，并推荐了入门资料。
太迷人了。多年前我还完全不懂代码时，曾对程序充满幻想与惊叹，代码就像黑魔法。今天我对机器学习就是这种感觉——神经网络在我眼里是美妙的巫术。希望有一天能进入这个领域工作。给完全不了解的人推荐这个讲神经网络基础的 wiki：https://github.com/cazala/synaptic/wiki/Neural-Networks-101
keyle查看英文原文
Fascinating. Many years ago, when I wanted to become a programmer and I didn't know anything about code, I used to fantasize and be amazed by programs. Code was like dark magic. This is how I feel today about machine learning. Neural networks, liquid state machines. It's wonderful voodoo to my eyes. I hope one day I get to work in that field, it seems so useful for solving big world problems. I have notice a definite rise in articles being written and shared on HN about it lately, that's great. For those completely in the dark, I found this library to have great wiki pages about the basics of neural network programming. Great read, I recommend it. https://github.com/cazala/synaptic/wiki/Neural-Networks-101
强调强化学习的重要性，并推荐 Sutton & Barto 的经典教材。
我认为强化学习是当下机器学习与 AI 中最令人兴奋的研究方向之一，它将在构建能在动态环境中做决策的 AI 中扮演重要角色。入门好书是 Sutton & Barto 的《Reinforcement Learning: An Introduction》，官网有第一版 HTML 和第二版草稿 PDF：https://webdocs.cs.ualberta.ca/~sutton/book/the-book.html
bgalbraith查看英文原文
Reinforcement Learning is one of the most exciting areas of research in machine learning and AI going on right now in my opinion. It is going to play heavily in creating AI that can make decisions in dynamic environments. A great introduction to the topic is the book Reinforcement Learning: An Introduction by Sutton & Barto. You can find the official HTML version of the 1st edition and a PDF of a recent draft of the 2nd ed. here: https://webdocs.cs.ualberta.ca/~sutton/book/the-book.html
提出疑问：训练出的智能体总有多余按键抖动，能否靠继续训练消除。
几乎所有实时打游戏的网络，输入都有很大的抖动。即使机器在直线前进，它总爱按别的键微微摆动。我的问题是：能否通过进一步训练消除这种现象？最朴素的做法是丢掉“愚蠢”的输入，但我猜那样也会破坏机器的理解。
grenoire查看英文原文
In almost all real-time networks playing games, there's very high jitter in inputs. Even when the machine is moving straight, it's always very keen on doing some wiggling with the other keys. My question is: Is it possible to eliminate that by further training? Naively you could drop 'stupid' inputs, but I assume that may also mess with the machine's understanding.
推荐一个 AI 打游戏的视频系列，指出智能体在某些游戏上已超越人类。
在 AI 与游戏的语境下，我强烈推荐这个由三集视频组成的系列：https://www.youtube.com/watch?v=xOCurBYI_gY。有些游戏它玩得比人类还好。
d33查看英文原文
In the context of AI and gaming, I definitely recommend this series of three youtube videos: https://www.youtube.com/watch?v=xOCurBYI_gY Some games are played better than human would.
历次讨论
同类还值得读
如何写一个拼写纠正器
How to Write a Spelling Corrector
Peter Norvig 用一个几十行的 Python 程序演示如何做拼写纠正：先用编辑距离（删除、插入、替换、换位）生成所有可能的候选词，再用从大量文本中统计出的词频概率，选出…
AI 与机器学习上首页 10 次 · 2007–2022norvig.com编辑精选面向黑客的概率编程与贝叶斯方法
Probabilistic Programming and Bayesian Methods for Hackers (2013)
《黑客的贝叶斯方法与概率编程》是一本开源的贝叶斯统计入门书，以 Python/PyMC 代码和交互式 Jupyter Notebook 为主线，强调“先实践、后数学”的学习路径，…
AI 与机器学习上首页 5 次 · 2013–2018camdavidsonpilon.github.io编辑精选神经网络黑客指南
Hacker's Guide to Neural Networks
Andrej Karpathy 写的神经网络入门教程，面向程序员，从最简单的表达式求导讲起，逐步推导出反向传播和梯度下降，最后引出神经网络。
AI 与机器学习上首页 4 次 · 2014–2019karpathy.github.io编辑精选神经网络能逼近任意函数的可视化证明
A visual proof that neural nets can approximate any function
这一章来自 Michael Nielsen 的在线书《Neural Networks and Deep Learning》，用 sigmoid 单元叠加成局部隆起/平滑阶跃的图示…
AI 与机器学习上首页 4 次 · 2014–2022neuralnetworksanddeeplearning.com编辑精选论乔姆斯基与统计学习的两种文化
On Chomsky and the Two Cultures of Statistical Learning
Norvig 回应 Chomsky 对统计语言模型批评的文章，围绕“统计学习能否解释语言”展开，比较生成与解释、少参数模型与 Shannon 式高参数统计模型。
AI 与机器学习上首页 4 次 · 2011–2025norvig.com编辑精选