工具与资源github.com
处理 CSV、XML、HTML、JSON、INI 等结构化文本的命令行工具清单
List of command line tools for manipulating CSV, XML, HTML, JSON, INI, etc.
2016 — 2018，它一次次回到首页
黑点是上首页（≥ 50 分）的那次投稿，空心点是没冲上去的投稿，点越大分数越高。
导读
这个 GitHub 仓库收集了用于处理 CSV、XML、HTML、JSON、INI 等结构化文本的命令行工具。它汇总了各类工具，帮助开发者快速找到适合特定任务的工具，避免重复搜索。
为什么经久不衰：命令行处理结构化文本的需求长期存在，而该列表持续更新、汇集实用工具，是开发者的高效参考。
HN 评论精选
推荐 lnav，适合处理日志和半结构化数据，能应对数百万行。
lnav 是一个非常棒的小工具，算是一种“迷你 ETL”，内嵌 SQLite 客户端，界面干净而强大。它的最佳场景是日志文件，但通过基于正则的自定义格式，也能很好地处理任何半结构化输入。Lnav 一次轻松处理几百万行。就我的经验，它和 mitmproxy/mitmdump 的客户端请求日志以及 Web 服务器日志配合得非常好。
chrisweekly查看英文原文
[lnav](https://www.lnav.org) is a terrific little tool, a "mini-ETL" of sorts with an embedded SQLite client and a clean, powerful interface. Its sweet spot is logfiles, but given regex-based custom formats, works great with any semi-structured input. Lnav easily handles a few million rows at a time. IME it pairs really really well with eg mitmproxy/mitmdump for client request logs, as well as webserver logs.
推荐 xmllint，可用于将 XML 规范化后交给 diff 比较。
很棒的列表。对于 XML 列表，我建议加入 xmllint。它对于将 XML 转换为规范格式以便用 diff 比较非常有用，例如：diff <(xmllint --c14n first.xml) <(xmllint --c14n second.xml)。如果有人能推荐更多命令行 SOAP 工具，我很想了解。
Lio查看英文原文
This is great. One thing I could suggest for the XML list is xmllint. It can be really useful for converting xml to canonical format so you can then use diff to compare it. E.g. something like diff <(xmllint —c14 first.xml) <(xmllint —c14 second.xml) I’d love to heat about more command line SOAP tools if anyone can recommend some.
推荐 csvkit，它提供了一系列处理 CSV 的命令行工具。
还有 csvkit。示例：in2csv data.xls > data.csv；csvcut -c column_a,column_c data.csv > new.csv；csvgrep -c phone_number -r "555-555-\d{4}" data.csv > matching.csv；csvjson data.csv > data.json；csvsql --query "select name from data where age > 30" data.csv > old_folks.csv 等。（已提交 PR。）
chishaku查看英文原文
Also csvkit. in2csv data.xls > data.csv in2csv data.json > data.csv csvcut -c column_a,column_c data.csv > new.csv csvcut -c column_c,column_a data.csv > new.csv csvgrep -c phone_number -r 555-555-\d{4}" data.csv > matching.csv csvjson data.csv > data.json csvsql --query "select name from data where age > 30" data.csv > old_folks.csv csvsql --db postgresql:///database --insert data.csv sql2csv --db postgresql:///database --query "select * from data" > extract.csv https://github.com/wireservice/csvkit (Submitted a pull request.)
awk 强大快速，适合简单文本处理，复杂时建议用 Python 等语言。
awk 真的非常强大。它很快，通过摆弄 'FS' 变量就能高效完成许多工作。所有 *nix 系统都有它。它还能与 cut、paste、datamash 等其他命令行工具很好地配合。但一旦变得太复杂，最好还是用真正的编程语言（比如 Python、Perl 等——我最喜欢 Python + scipy）。
benou查看英文原文
awk is really, really powerful. It is fast, and you can do a lot very efficiently just playing with the 'FS' variable. And you can find it on all *nix boxes. And it works nicely with cli other tools such as cut, paste, or datamash (http://www.gnu.org/software/datamash/). As soon as it becomes too complex though it is better to resort to a real language (be it python, perl or whatever - my favourite is python + scipy).
历次讨论
同类还值得读
直接在浏览器中启动 Linux 内核
Boot a linux kernel right inside your browser.
Fabrice Bellard 的 JSLinux 页面，用 JavaScript 在浏览器里启动一个 Linux 内核，并提供一个可交互的终端环境。
工具与资源上首页 5 次 · 2011–2025bellard.orgHacker News 未公开功能与行为清单（2018）
A List of Hacker News's Undocumented Features and Behaviors (2018)
数据科学家 Max Woolf 整理的 Hacker News 未公开功能与行为清单，涵盖投票机制、排名算法、账号惩罚等社区运作细节。
工具与资源上首页 5 次 · 2019–2025github.comMapSCII：在终端中用盲文和 ASCII 渲染地图
MapSCII – Braille and ASCII map renderer for the console
MapSCII 是一个在命令行终端里渲染地图的开源工具，用盲文字符和 ASCII 字符把地理数据画成可交互浏览的字符地图。
工具与资源上首页 5 次 · 2017–2025github.com顶尖大学的免费在线课程
Free Online Courses from Top Universities
Open Culture 整理的一份免费在线课程合集，汇集了全球顶尖大学（如 MIT、斯坦福、耶鲁等）向公众开放的网络课程资源，涵盖音频、视频等多种形式。
工具与资源上首页 5 次 · 2010–2022openculture.com淘气字符串：容易引发用户输入问题的字符串清单
Naughty Strings: A list of strings likely to cause issues as user-input data
一个 GitHub 仓库，收录了大量容易让程序出问题的用户输入字符串，如特殊字符、emoji、SQL 注入片段、系统命令等，供开发者用于测试输入处理逻辑。
工具与资源上首页 4 次 · 2015–2020github.com