AI 倒查论文这件事最早被关注是因为“AI 倒查论文 100 年99.2% 的顶刊都有问题”这类说法在科研圈里被反复讨论。先不讨论这个数字本身是否经得起验证它至少把一个问题摆到了台面上当人类审稿人和编辑面对海量历史文献时已经很难靠肉眼完成系统性复核而 AI 可以低成本地把论文中的文本、图像、数据和引用关系重新过一遍输出“疑似有问题”的优先级列表。这篇文章要解决的不是“如何给论文定性造假”而是如何从工程角度搭建一套 AI 论文回溯审查流水线让 PDF 论文批量进入系统最终得到一份带证据、带页号、带可疑分级的 CSV 报告。这套方案适合期刊编辑部、科研诚信调查组、高校研究生院的材料复核人员也适合对 AI 工程实践感兴趣的开发者。读完这篇文章你会得到一个可运行的最小闭环包含 PDF 文本和图像抽取、文本相似度计算、图像指纹比对、数据异常规则校验、报告生成以及完整的排查和人工复核流程。整个系统不依赖私有数据也不做领域限定你可以用公开论文或自造样例直接跑通。1. 先想清楚AI“倒查”论文到底查什么1.1 为什么是“倒查”不是正常审稿正常审稿是论文投稿时由审稿人评估创新性、正确性和可发表性。倒查则是反过来针对已经发表的论文带着“是否有疑点”的预设去做回溯检查。两者的技术难点不同倒查面对的是 PDF 成品没有作者提供的原始数据时间跨度可能很大有扫描版、老式排版、不同字体编码需要同时处理文本和图片还要把图片里可能重复使用的实验截图、电镜图、流式图给比对出来。所以倒查系统的核心不是“理解论文内容”而是“把论文拆成可检索、可比较的原子单元”。文本拆成句子或段落图片拆成图像指纹数据拆成数值和统计量引用拆成条目。再靠相似度算法和规则引擎去碰撞最终产出可疑信号。1.2 AI 能识别的四类可疑信号可以把论文复查拆成四个独立通道每个通道产生自己的证据信号类型检测目标常用技术输出指标文本复制文字段落与其他文献高度雷同MinHash、SimHash、TF-IDF相似度百分比、重叠片段、原文献标识图像复用同一张实验图片在不同论文中重复出现或局部裁切pHash、dHash、特征点匹配图像哈希值、相似度、相似图像列表数据异常统计结果、p 值、样本量、均值标准差互相矛盾规则引擎、四则运算校验、分布检验异常项、期望值与实际值引用操纵参考文献与正文引用不匹配或引用位置异常正则、规则解析、引用上下文分析未引用文献、引用缺失、疑似堆砌引文这四类信号单独看都不能定罪但叠加起来就值得人工复核。比如一篇论文既包含大量相似文本又包含重复图片那么被问题的概率就显著上升。1.3 输出不是结论而是“人工复核优先级列表”工程上最常见的错误是让 AI 直接输出“有问题”。学术不端判断涉及科研伦理、实验室记录、原始数据核实AI 没有能力下最终结论。系统正确姿势是输出一个排序列表可疑分越高的人越靠前每条记录都要能回溯到原 PDF 页码、坐标、截图和文本片段。因此报告要设计成“证据包 打分”的结构。这样人工复核只要打开对应 PDF 页面对照即可不需要重新检索整个文件。这也是整篇文章始终强调的一条原则宁可误报也不能丢失上下文。2. 搭建论文 AI 复查系统的技术选型和环境准备2.1 推荐的系统结构用一个最直接的分层结构避免一开始就引入复杂框架PDF输入 - PDF解析层 - 文本提取 - 图像提取 - 元数据提取 - 特征计算层 - 文本向量/MinHash - 图像感知哈希 - 数据规则校验 - 比对层 - 文本相似度 - 图像相似度 - 引用一致性 - 报告层 - 可疑打分 - CSV/HTML 报告这个结构的好处是每一层都能独立验证。PDF 解析层处理坏的 PDF特征计算层处理性能问题比对层处理误报报告层处理可读性。排错时可以直接定位到具体环节。2.2 Python 环境与依赖推荐使用 Python 3.10 或 3.11。以下依赖需要提前安装pip install pymupdf pdfplumber pillow pandas numpy scikit-learn openpyxl如果后续要对扫描版 PDF 做 OCR可以额外安装pip install pytesseract但注意OCR 不是最小闭环必需项。文章中的所有示例在普通文字版 PDF 上就能跑通。各依赖的用途依赖用途说明PyMuPDF快速抽取文本、图片、页面尺寸底层是 MuPDF速度快pdfplumber精确抽取表格、坐标、字符位置适合做引用位置和表格数据提取Pillow图像预处理与哈希计算处理 RGB、灰度、缩放到统一尺寸pandas整理报告数据最终输出 Excel/CSV 更方便scikit-learn提供 HashingVectorizer 等文本特征可以替换成自实现 MinHashopenpyxl写出带格式的 Excel便于人工复核时筛选2.3 项目目录结构准备建议在一个独立目录里组织代码。paper_audit/ ├── config.py ├── pdf_parser.py ├── text_features.py ├── image_features.py ├── rule_checks.py ├── report_builder.py ├── run_audit.py ├── papers/ # 放待复查的 PDF 论文 │ ├── sample_1.pdf │ └── sample_2.pdf ├── reports/ # 输出报告 └── cache/ # 中间结果缓存在真实项目中papers/里可能有上千个 PDF建议使用绝对路径并且不要直接把 PDF 放在代码目录里。下面所有代码都基于这个结构。2.4 准备测试论文用公开样张或自造样例没有真实论文时可以用公开可获取的开放获取论文或者自己用 Word/LaTeX 生成几个 PDF 作为测试对象。为了验证文本查重和图像查重可以做两个动作从一篇论文复制 2 段文字粘贴到另一篇 PDF 中。把同一张图片分别以不同缩放比例放入两篇 PDF。这样测试时能明确验证系统是否能发现这些人工制造的重复点。真实复查时不需要这样做但开发阶段必须有可控正样本。3. 核心实现先把 PDF 解析成可分析的中间层3.1 PDF 解析的两个层次文本层和图像层PDF 本身是一种排版格式不是纯文本文件。解析必须分两层文本层负责抽取字符和位置图像层负责抽取图片对象。分两层会导致解析时间变长但能避免后续特征计算时上下文丢失。文本抽取推荐 PyMuPDF# pdf_parser.py import fitz def extract_text(pdf_path, page_rangeNone): doc fitz.open(pdf_path) pages [] for page in doc: pages.append({ page_number: page.number 1, width: page.rect.width, height: page.rect.height, text: page.get_text(text), blocks: page.get_text(dict)[blocks], }) return pages这里page.get_text(dict)会返回每一个文本块的结构化信息包括坐标。后续如果需要判断引用是否出现在正文中这个坐标信息非常有用。图片抽取也使用 PyMuPDFimport hashlib from PIL import Image import io def extract_images(pdf_path, output_dirNone): doc fitz.open(pdf_path) images [] for page in doc: for img in page.get_images(fullTrue): xref img[0] base_image doc.extract_image(xref) image_bytes base_image[image] image_ext base_image[ext] image_pil Image.open(io.BytesIO(image_bytes)).convert(RGB) # 记录图片在页面上的位置信息 rects page.get_image_rects(xref) images.append({ page_number: page.number 1, xref: xref, width: image_pil.width, height: image_pil.height, pil: image_pil, rects: [tuple(r) for r in rects], }) return images注意page.get_images(fullTrue)只会抽到 PDF 内部引用过的图片对象。如果图片是从其他文件嵌入但被裁剪过rects能反映它在页面上的显示区域。抽样保存到本地时用output_dir和哈希命名避免重名。3.2 文本抽取的常见坑扫描版和双栏排版扫描版 PDF 没有文本层get_text(text)返回空字符串。解决办法是 OCR但不在本文最小闭环内。双栏排版会让文本抽取顺序混乱常见处理方式是按坐标排序或者使用 pdfplumber 按单词位置重组。实际开发中可以先用简单规则按 y 坐标分栏再按 x 坐标排序。3.3 图片抽取的特殊处理嵌入型图片 vs 页面裁剪有些论文里的图表是以矢量形式存在get_images抽不到图片只能通过页面截图。如果确认需要检测“页面里看起来一样的图表”可以额外把整页渲染成图片def render_page_to_image(pdf_path, page_number, dpi100): doc fitz.open(pdf_path) page doc.load_page(page_number - 1) pix page.get_pixmap(matrixfitz.Matrix(dpi / 72, dpi / 72)) img Image.open(io.BytesIO(pix.tobytes(png))).convert(RGB) return img这会大幅增加计算量所以只建议在文本层或图片层发现可疑信号时再触发。4. 实现四类 AI 审查器4.1 文本查重用 MinHash 快速找出雷同段落文本查重不一定要先做分词。对中英文混合场景可以按固定窗口切分成 n-gram 并计算 MinHash。这里为了工程简单使用 scikit-learn 的HashingVectorizer把段落转为稀疏向量再用余弦相似度比对。# text_features.py from sklearn.feature_extraction.text import HashingVectorizer vectorizer HashingVectorizer( n_features1 16, alternate_signTrue, analyzerchar_wb, ngram_range(4, 8), dtypefloat32 ) def hash_paragraph(paragraph): return vectorizer.transform([paragraph])核心思路连续 4 到 8 个字符的重叠片段能跨语言、跨大小写地捕捉“复制粘贴”痕迹不用依赖分词词典。比对时把待比对的段落拼成一个矩阵然后计算余弦相似度矩阵。from sklearn.metrics.pairwise import cosine_similarity def find_similar_texts(paragraphs, threshold0.8): vectors vectorizer.transform(paragraphs) sim cosine_similarity(vectors) results [] for i in range(len(paragraphs)): for j in range(i 1, len(paragraphs)): if sim[i][j] threshold: results.append({ source: i, target: j, similarity: sim[i][j], }) return results这一步的关键是阈值选择。0.8 在段落级比较中属于比较保守的值能明显降低误报如果只比对整篇摘要阈值可以降到 0.6。4.2 图像复用用感知哈希 pHash 找出相似截图图像复用检测最基础但有效的方案是感知哈希。pHash 会把图片缩小、灰度化然后计算离散余弦变换的低频系数最后编码成 64 位哈希。两张图的汉明距离越小说明越相似。# image_features.py import numpy as np from PIL import Image def dct_hash(img, hash_size16): img img.resize((hash_size, hash_size), Image.LANCZOS).convert(L) pixels np.asarray(img, dtypenp.float32) dct np.array(Image.fromarray(pixels)) # 使用 scipy 或手写 DCT 都可以这里用 numpy 简化 # 实际项目可用 scipy.fftpack.dct low_freq dct[:8, :8] med np.median(low_freq) return (low_freq med).flatten().astype(np.uint8) def hamming_distance(hash1, hash2): return np.count_nonzero(hash1 ! hash2)为了减少误报比较前把图片统一到边长 256 像素再做灰度化。pHash 对轻微缩放、压缩、色彩变化比较鲁棒所以能发现“同一张图换了个尺寸”之类的复用。完整比对时可以先把所有论文抽出的图片哈希放入列表然后两两计算汉明距离。阈值为 10 到 14 比较常见具体要通过测试集调整。4.3 数据异常用规则引擎校验统计量一致性数据异常检测不依赖深度学习。常见规则包括p 值与统计量是否满足对应分布的基础关系。比例与样本量是否能整除。两组数据的均值、标准差是否与报告的 t 值匹配。百分比之和是否接近 100%。在 PDF 中提取数值需要依赖文本解析。这里给出一个简单示例从文本行中识别类似p 0.03这样的模式# rule_checks.py import re P_PATTERN rp\s*[]\s*([0-9]*\.?[0-9]) N_PATTERN r[nN]\s*[:]\s*(\d) def extract_statistics(text): stats {} ps re.findall(P_PATTERN, text) ns re.findall(N_PATTERN, text) if ps: stats[p_values] [float(x) for x in ps] if ns: stats[sample_sizes] [int(x) for x in ns] return stats规则引擎的目标不是解释统计结论而是标记“看起来不合常识”的数值。比如样本量是 20却出现百分比 73.3%这在真实数据里很可能来自四舍五入不一致。这类规则需要由领域专家持续补充AI 模型部分主要承担长尾模式发现规则部分负责可解释性。4.4 引用与参考文献一致性检查用正则提取正文中的[1]、(Smith et al., 2020)以及参考文献部分的条目再计算被引用但未出现在参考文献中的编号。def check_citations(text_blocks, references_text): citation_pattern re.compile(r\[(\d)\]) cited_ids set() for block in text_blocks: cited_ids.update(citation_pattern.findall(block[text])) ref_ids set(re.findall(r^\[(\d)\], references_text, flagsre.MULTILINE)) missing_in_refs cited_ids - ref_ids unused_refs ref_ids - cited_ids return { missing_in_refs: sorted(missing_in_refs, keyint), unused_refs: sorted(unused_refs, keyint), }这里只是最简单的版本。真实论文里引用格式可能有[1,2]、[1-3]需要额外展开区间。引用一致性检测容易被手误、作者顺序变化干扰所以它只能作为弱信号不单独触发高优先级。5. 批量跑一版把“倒查 100 年”落到流水线上5.1 批量任务调度用最简单的串行循环实现批量处理。对几千篇论文串行可能很慢但可以先跑通再优化。# run_audit.py import os from pdf_parser import extract_text, extract_images from text_features import hash_paragraph, find_similar_texts from image_features import dct_hash, hamming_distance from rule_checks import extract_statistics from report_builder import build_report def audit_pdf(pdf_path): pages extract_text(pdf_path) images extract_images(pdf_path) text_content \n.join(p[text] for p in pages) stats extract_statistics(text_content) # 对每页文本做段落化 paragraphs [] for p in pages: for block in p[blocks]: if block[type] 0: text block.get(lines, ) if len(text) 20: paragraphs.append({page: p[page_number], text: text}) # 对图片计算哈希 image_hashes [] for img in images: image_hashes.append({ page: img[page_number], hash: dct_hash(img[pil]), size: (img[width], img[height]), }) return { pdf: pdf_path, paragraph_count: len(paragraphs), image_count: len(image_hashes), stats: stats, paragraphs: paragraphs, image_hashes: image_hashes, }把提取结果缓存为 JSON可以避免重复解析import json def cache_path(pdf_path): base os.path.basename(pdf_path).replace(.pdf, .json) return os.path.join(cache, base)5.2 产出 CSV 报告报告需要同时包含“单篇论文统计”和“跨论文可疑对比”。这里以文本相似度结果为例生成 CSVimport csv def write_report(suspicious_pairs, output_pathreports/suspicious.csv): with open(output_path, w, newline, encodingutf-8-sig) as f: writer csv.writer(f) writer.writerow([source_pdf, source_page, source_text, target_pdf, target_page, target_text, similarity, type]) for pair in suspicious_pairs: writer.writerow(pair)CSV 使用utf-8-sig编码Excel 直接打开不会乱码。5.3 如何给可疑点分级打分每个信号都有不同的置信度。可以建立经验权重表信号默认权重触发条件文本相似度 0.853 分两段文本长度都超过 200 字图像汉明距离 104 分图像宽高差异小于 2 倍且都在页面内统计规则冲突2 分每条冲突规则计 1 分引用缺失1 分每发现 1 处缺失计 0.5 分最多 2 分最终总分 加权和。超过 5 分建议人工复核超过 8 分优先处理。这些权重不是固定标准需要根据你们样本库里的误报率调参。报告里一定要把每个分数来源列出来方便人工判断。5.4 保留原始证据截图、PDF 页号、文本片段人工复核最怕的是系统告诉我“这篇论文有问题”却不告诉我问题在哪。所以报告必须带上证据对文本相似度保存相似文本的前 200 字。对图像相似度保存两张对比缩略图文件名包含页码和坐标。对统计异常保存原始文本行和上下文三行。证据文件统一放在reports/evidence/下通过报告里的evidence_path字段关联。6. 验证与人工复核AI 结果为什么不能直接当结论6.1 验证方式正样本、负样本、误报率搭建完系统后不要直接拿去审所有论文。先构造一个小型验证集类型内容期望结果正样本从其他论文复制文本、图片人工插入到新 PDF系统能发现文本相似和图片相近负样本正常的原创论文系统不产生高分可疑项边界样本两篇论文引用同一张公共实验流程图系统标记但人工确认后不算问题通过这个验证集记录“检出率”和“误报率”。如果正样本全部检出、负样本误报率低于 10%说明当前参数可行否则调整阈值和权重。6.2 分级复核 SOP即使 AI 给出可疑项也不能只看它给出的一个片段。建议按下面的流程操作打开可疑项对应的 PDF 页号。对照报告中的坐标定位到具体文本或图片。查看该论文的发表时间、期刊、作者信息和原文声明。将 AI 标记的相似片段与标注来源在全文范围内逐字比对。判断是否属于合理引用、公共素材、巧合相似或有意造假。填写复核结论和备注留档。这套 SOP 要在系统上线前同步给复核人员否则他们会因为报告不直观而弃用系统。6.3 常见问题排查表问题现象常见原因检查方式处理建议PDF 解析后文本为空扫描版、无文本层或 PDF 加密用fitz.open后检查page.get_text()长度增加 OCR 环节或先解密需有授权图片抽取不到任何图像图片被嵌入为矢量图或整页截图打开 PDF 页面截图查看是否有图片使用页面渲染补充图片源文本相似度误报偏高参考文献格式、常见客套话被算入文本输出相似文本片段观察是否集中在参考文献过滤参考文献区域或提高阈值图像比对把所有页眉 logo 都识别为相似每页共同的页眉图片触发了相似检查图片坐标过滤顶部/底部固定区域先排除页眉页脚区域CSV 报告中文乱码编码不正确用记事本或 Excel 打开查看使用utf-8-sig编码内存占用过高所有图片哈希一次性载入内存统计缓存目录大小改用 SQLite 存储分批比对运行时间过长串行解析大量 PDF查看 CPU 使用率引入 multiprocessing 或任务队列6.4 一个典型误报案例假设两篇论文都使用了一张来自公共数据库的基因通路图。图像相似度判定为汉明距离 8触发 4 分。但人工复核确认两篇论文都正确注明来源图片属于公开素材。这种案例不是系统错误而是规则策略问题。解决办法是维护一个“公共素材哈希白名单”首次人工确认后写入白名单后续自动忽略。7. 生产环境部署和最佳实践7.1 生产环境需要额外组件学习环境跑通后直接面对上千篇 PDF 时需要增加这些组件组件作用推荐方案任务队列管理数千个 PDF 的解析和计算任务Redis RQ / Celery数据库存储论文元数据、哈希、复核结果PostgreSQL / SQLite对象存储保存 PDF 原件和图片证据本地目录 备份策略日志监控记录失败任务、耗时、内存Loguru 或标准 logging接入 Prometheus Grafana生产环境里“解析失败”是常态不是例外。每个任务都要记录开始时间、结束时间、处理文件、异常堆栈统一写入error.log方便定期复盘。7.2 安全合规未发表论文和敏感数据保护如果系统处理的不是公开论文而是投稿系统里的待审稿必须遵守数据最小化原则。建议在代码层做以下约束所有 PDF 文件名和路径用 UUID 替换不保留原始作者姓名。中间结果只保留必要字段不保存无关个人信息。生成报告时对作者单位、邮箱等字段做脱敏。处理完成后根据业务需求决定是否删除 PDF 副本和缓存。数据库访问、模型服务、报告接口全部走内网避免暴露到公网。学术诚信检查是严肃工作任何数据泄漏都会造成巨大影响。即使只是开发期也不要随便把论文数据传给第三方 API。7.3 最佳实践清单每篇论文解析结果先缓存不要重复解析 PDF。文本相似度比对前过滤参考文献、致谢、页眉页脚等低价值区域。图像哈希入库后再两两比较不要每次全量重算。权重、阈值、白名单这些参数放到config.py或环境变量中不要硬编码。报告必须保留可溯源的证据否则分数没有意义。人工复核结果要反馈回系统形成半监督闭环降低误报率。上线前先用正负样本验证记录检出率和误报率基线。定期用最近一年已证实问题的论文作为测试集检查系统是否还具备召回能力。7.4 扩展方向当前系统只用了规则和传统机器学习特征。扩展到生产级还可以做以下事情引入大语言模型做语义级改写检测、跨语言抄袭检测。对论文中的表格进行结构识别抽取更细粒度统计数据。对图片使用特征点匹配或深度学习特征向量解决同一图像区域被截取、旋转、镜像的情况。建立作者、机构、基金、期刊的引用网络图识别“作者自引异常”和“批量互引”。将“人工复核结论”存储为标签用监督学习调整每类信号的可疑分权重。这些方向会显著增加工程复杂度。建议先跑通本文的最小闭环再根据业务中实际遇到的误报类型逐步扩展。回到开头的问题AI 倒查论文的价值不在于给出“99.2% 都有问题”这种耸动结论而在于把人工复核的注意力集中到最可疑的那一小部分论文上。一篇论文是否违反学术规范最终要靠科学家、编辑和科研诚信专家共同判定。AI 能做的是稳定、可复现、不疲劳地把文本、图像、数据和引用中的异常信号筛选出来再带着证据交给人类。如果你正准备做论文批量复查系统先从这个最小闭环开始把 PDF 解析、特征计算、报告和人工复核链路跑通再逐渐加入更多模型和数据源这才是工程上最稳妥的路径。