这次我们聊一个不是代码项目但比很多开源工具都值得讨论的话题HN 头条里到底有多少内容是 AI 写的一位作者做了两次抽样调查结论不是简单一句话而是一套可以复用的判断方法和复现流程。这篇文章会把调查思路拆开讲清楚抽样怎么设计、AI 内容有哪些特征信号、用什么工具辅助判断以及为什么检测结果只能当参考不能当证据。如果你平时在 HN、Reddit 或各类技术社区看内容担心 AI 生成内容挤占信息流这篇文章可以直接收藏。文末会给出一段可运行的 HN API 抽样脚本方便你自己跑一遍还原整个调查过程。1. 核心问题与能力速览先给一张速览表把这件事整体看明白。能力项说明调查对象Hacker News 首页 Top Stories 板块调查方式两次抽样调查先快速扫描再人工复核核心问题头条内容中有多少文字、标题或文章正文由 AI 生成判断维度标题结构、正文风格、作者信息、域名背景、发布时间模式辅助工具HN 官方 API、文本分类器/检测器、人工复核清单输出结果占比估计、特征清单、误判边界适用场景社区内容质量分析、信息流监测、内容真伪排查最大局限检测器无法给出确定性结论只能提供概率参考这里先把话说清楚AI 内容检测不是一个“是或否”的问题。两次抽样调查的价值不在于给出一个精确到小数点后一位的占比而在于建立一个可以反复执行的判断流程。HN 头条里哪些内容看起来像 AI 写的、哪些内容其实是人工写作但风格接近 AI、哪些误判需要靠二次抽排查掉这些才是调查真正要回答的问题。2. 为什么选择 HN 头条做 AI 内容抽样HN 即 Hacker News是 Y Combinator 旗下的技术社区以标题简洁、内容偏工程和技术讨论著称。很多人对 HN 的印象是“高质量技术内容聚集地”但也正是因为流量集中在少数几条头条上这里更容易成为 AI 生成内容的测试场。从公开讨论看HN 社区的 AI 内容问题有几个明显阶段第一阶段是“AI 生成摘要”有人用大模型把长文压缩成摘要再作为评论或二次投稿发出来标题和正文高度模板化。第二阶段是“AI 生成独立文章”个人站点或营销内容整体由大模型生成再投到 HN标题直接蹭技术热点。第三阶段是“半 AI 混合内容”人类写初稿、AI 改稿或者 AI 写框架、人类补充案例这种最难看出来。这就是作者两次抽样调查的价值所在。第一次抽样可以快速圈定“可疑内容”第二次抽样把这些内容放回原页面人工判断作者是否有足够的信息增量。如果不做第二次复核很容易把人类写的结构化内容误判成 AI 产物。3. 两次抽样调查的方法设计两次抽样的核心思路第一轮靠机器找共性第二轮靠人工排除误判。3.1 第一次抽样广撒网第一次抽样的目标是把首页头条抓下来记录标题、链接、发布时间、作者、域名、评论数、分数等基础字段。然后对这些标题和文章正文做批量扫描筛选出符合“AI 生成特征”的候选。建议的第一次抽样规则样本量不用太大抓取 20 到 50 条头条即可重点看连续多天的数据避免单日热点事件影响统计。对标题做文本形态检查例如是否大量使用冒号、是否采用“XXX为什么 YYY”、“从 A 到 Z完整指南”等结构。对正文做结构检查例如是否列表过多、是否缺少引用来源、是否出现脱离上下文的高密度排比句。对作者和域名做背景检查例如账号注册时间是否很新、域名是否刚建站、作者主页是否有完整个人信息。3.2 第二次抽样人工复核第二次抽样的目标是对第一次筛选出的“可疑内容”做逐条阅读排除误判。人工复核时要重点看三件事文章是否包含具体数据、可验证的截图、代码片段、实测截图。作者是否对评论区问题有明确回应是否能够补充正文没写到的细节。文章是否为“资讯搬运”或“翻译改写”如果原文是英文技术资料中文内容只是摘要那它也属于信息增量不足的内容。人工复核不能只是“看着像不像”而是要给每篇内容打一个标签疑似 AI、疑似 AI 辅助、人写但模板化、信息增量充分。只有打完标签才能统计两个占比AI 内容占比和可疑但无法确认的占比。3.3 时间窗口的选择抽样最怕单日偏差。建议第一次和第二次抽样的时间窗口错开间隔三天以上并且覆盖工作日和周末。HN 头条在工作日以技术教程和开源项目为主周末则以观点类和讨论帖居多两类内容的写作风格差异很大。如果只抽一天的样本结论会明显失真。4. 判断 AI 内容的典型信号这里整理一份判断清单同样适用于 HN、Reddit 或任何技术社区的文本分析。信号类型具体表现可信度标题结构大量使用冒号、破折号“XXXX 的 XX”中等人也会这么写开头模式前三段先讲背景再引出问题段落长度均匀中等模板化明显列表密度全文到处是“首先、其次、然后”缺少具体案例较低不能单独作为判定引用缺失有观点但无出处有数据但无来源中等作者信息账号新注册、无历史发言、站点无关于页较高发布时间多个相同博客在同一时间段批量发布较高评论区互动作者发帖后不回复或回复内容也是模板化文本中等关键词堆砌SEO 关键词密集但内容缺乏实质性技术细节较高需要特别说明的是这些信号是“嫌疑指标”不是“证据”。真正可靠的判断还是要回到内容本身它有没有提供你查不到的信息有没有可验证的细节有没有真实的用户反馈。从两次抽样调查的复盘中可以看到最容易误判的其实不是纯 AI 生成文章而是“AI 辅助 人工润色”的内容。这类内容在标题和段落结构上非常标准但正文经常会夹带一些不完整的技术概念例如提到某个框架却说不清它解决的是什么问题。这种内容在二次复检时优先级应该高于那些一眼就能看出模板化的文章。5. 数据采集与复现流程如果有人想复现作者这次抽样调查不需要写复杂的爬虫。HN 有公开 API可以直接拿到头条 ID 和详情数据。5.1 抓取 Top StoriesHN 官方提供了 Firebase 风格的 JSON API接口地址是curl -s https://hacker-news.firebaseio.com/v0/topstories.json | head -50返回结果是一个由 story ID 组成的数组例如[ 42000001, 42000002, 42000003 ]拿到 ID 后再逐个请求详情接口获取标题、作者、链接、分数和评论数。5.2 用 Python 批量抓取两次抽样数据下面这段脚本可以抓取指定数量的头条并把结果保存为本地 JSON 文件适合第一轮抽样。注意实际运行前需要替换你想要抓取的数量和保存路径。import requests import datetime import json API_BASE https://hacker-news.firebaseio.com/v0 LIMIT 30 OUTPUT_FILE ./hn_topstories_sample.json def fetch_item(item_id: int) - dict: url f{API_BASE}/item/{item_id}.json resp requests.get(url, timeout30) resp.raise_for_status() return resp.json() def main(): resp requests.get(f{API_BASE}/topstories.json, timeout30) resp.raise_for_status() ids resp.json()[:LIMIT] items [] for item_id in ids: data fetch_item(item_id) if not data: continue items.append({ id: data.get(id), title: data.get(title), url: data.get(url), author: data.get(by), score: data.get(score), descendants: data.get(descendants, 0), fetched_at: datetime.datetime.now(datetime.timezone.utc).isoformat(), }) with open(OUTPUT_FILE, w, encodingutf-8) as f: json.dump(items, f, ensure_asciiFalse, indent2) print(fsaved {len(items)} items to {OUTPUT_FILE}) if __name__ __main__: main()跑完这段脚本本地就会得到一个 JSON 文件里面是头条标题、作者、时间等基础字段。第一次抽样建议把 LIMIT 设为 30第二次抽样再换一个新的时间窗口把 LIMIT 设为 50两次结果分别保存方便后续对比。5.3 给可疑内容打标签抓回数据后需要做一个简单的标记表。这里不要求用模型人工整理一个 CSV 或表格就可以。id,title,author,score,domain,ai_score,human_score,need_check 42000001,How I built a search engine in 40 hours,user_a,120,example.com,0.3,0.7,false 42000002,The Ultimate Guide to AI Search: Why It Matters,user_b,45,news-site.net,0.8,0.2,true 42000003,Why we left AWS and moved to bare metal,user_c,230,techblog.io,0.4,0.6,false其中 ai_score 和 human_score 可以先按“目测 工具”给一个 0 到 1 的置信度不需要精确目的是在第二轮回看时给文章排优先级。6. 抽样中的主要现象与局限任何人做这样的抽样都会遇到同一个问题AI 内容比例到底是多少答案会不断变。这不是调查者水平不行而是内容生态本身就处于快速变化中。从两次抽样调查的复盘结论来看有几个现象值得留意。第一个现象标题层面的“AI 味”很容易识别但正文层面的“AI 味”越来越不明显。早期 AI 生成的文章基本是“从认识到实践”套路现在模型已经学会了加入错误信息、口语化表达和看似真实的个人经历检测难度明显上升。第二个现象很多头条其实不是“纯 AI 生成”而是“AI 辅助生产”。比如一个人写了 10 行代码AI 帮他扩展成一篇教程再拿标题去 HN 引流。这种内容你说它是 AI 内容作者不承认你说它是人类内容结构又太模板化了。两次抽样调查中二次复核最重要的作用就在这里。第三个现象社区的反馈机制可以部分过滤 AI 内容但无法完全过滤。HN 的投票和评论是重要防线但如果 AI 内容在发布初期就获得几个初始投票它就有机会进入头条后续人工筛查成本会高很多。关于检测工具有一点必须强调OpenAI 曾停用了官方 AI Text Classifier其他检测工具也普遍存在误报和漏报尤其对英文内容、翻译内容、混合内容的表现不稳定。任何检测结果都只能作为“可疑度参考”不能作为公开指控依据。做抽样调查时最好由两个人分别给同一篇文章打分不一致的样本单独复核。7. 常见问题排查做 HN 数据采集和 AI 内容抽样时最常遇到的问题集中在 API 调用、时间处理和判断一致性。问题现象可能原因排查方式解决方案请求 topstories 超时网络不稳定或限流查看请求日志重试单条请求增加 timeout加入重试和 sleep拿到空 item文章被删除或 ID 失效单独请求该 ID 看返回跳过空数据不中断脚本时间字段显示异常Unix 时间戳未转换时区使用 datetime 做 UTC 转换统一转换为 ISO 格式存储两次抽样结果完全不一致一次在工作日、一次在周末对比抓取日期和事件热点扩大时间窗口各覆盖一周检测器把人工模板文判成 AI文本结构过于标准化回看原文确认是否有实测细节只把检测结果当线索不直接定罪域名历史查询失败域信息被隐私保护隐藏换用建站时间、ICP备案等旁路信息标注“无法确认”不强行结论人工复核标准不统一两个人对“AI 味”理解不同先共同标注 5 篇练习样本制定统一评分卡分歧样本由第三人复核8. 合规边界、总结与下一步最后聊一下合规与使用边界。采样 HN 头条公开数据做研究是常见的社区分析做法但要注意以下几条抓取频率要控制不要对 HN API 做高频请求避免影响其他用户。数据对外发布时作者名、链接等字段需要做适当处理不要把分析变成对某个作者或某个站点的点名攻击。检测结果不能作为“这是 AI 内容”的最终结论尤其不能用于公开指控。真实结论需要结合作者回应、原文链接、信息源验证。如果要发布调查结果建议把两次抽样的原始清单打码去重后一并公开方便其他人复核。回到最开头的问题HN 头条有多少是 AI 内容更稳妥的回答是在不同时间段、不同采样规则下这个比例会有明显波动。作者两次抽样调查的价值不在“答案”本身而在于证明了 AI 内容检测必须经过“机器初筛 人工复核 交叉验证”三道流程任何单一信号都不能直接定论。对于想自己动手的读者建议先按第 5 节的脚本抓一次当前 TOP 30再用第 4 节的信号清单给标题打一次分。整个过程半小时左右就能跑完。比起收藏这份清单更好的做法是把它变成一套每周定时跑的抽样脚本持续跟踪 AI 内容在 HN 头条上的占比变化。这个方向还能继续扩展比如把 OpenAI、Anthropic、Google 的相关新闻单独分组或者把“AI 生成标题”和“AI 生成正文”分开统计做一张更细粒度的时间趋势表。建议收藏备用下次再看到“HN 头条全是 AI 内容”的说法时直接拿出自己的两次抽样数据说话。