
chinese-poetry5.5万唐诗26万宋诗中华古诗词数据库【免费下载链接】chinese-poetryThe most comprehensive database of Chinese poetry 最全中华古诗词数据库, 唐宋两朝近一万四千古诗人, 接近5.5万首唐诗加26万宋诗. 两宋时期1564位词人21050首词。项目地址: https://gitcode.com/gh_mirrors/ch/chinese-poetry你搭 NLP 语料库、做诗词学习 App最卡脖子的一步往往是找数据。古籍扫描版要清洗网络摘录要校勘格式更是五花八门。chinese-poetry 就是一个开箱即用的中华古诗词数据库5.5 万首唐诗、26 万首宋诗、21050 首宋词全部以 JSON 交付clone 下来就能解析。数据家底速览先花 10 秒看清里面装了什么数据集规模说明唐诗5.5 万首唐五代诗人群像收录宋诗26 万首宋代诗人群像收录宋词21050 首两宋 1564 位词人五代词花间集 南唐二主词词体源头的重要选本元曲完整散曲集元代曲家作品经典文集诗经、论语、四书五经、蒙学等多门类古典文献唐宋两朝合计约 1.4 万古诗人。诗词类数据统一采用两层 JSON 结构按作者顺序分片存储每个分片文件收录约 1000 首加载时不必一次性读入整库。逐层拆解三大核心数据集唐诗与宋诗两层结构加 tags 标注唐宋诗存放在全唐诗/目录poet.tang.0.json起按每片约 1000 首分片poet.song.N.json同理另配authors.tang.json、authors.song.json两份作者名录。每首诗是一个 JSON 对象author、paragraphs逐联存放的诗句、title、id部分条目还带tags比如五言绝句思乡小学古诗这类标签做检索和分类时能直接利用。一个小提醒库内文本保留了版本异文。李白的《静夜思》写作牀前看月光舉頭望山月和你课本里的句子略有出入做文本比对时先做归一化更稳妥。从高频词词云能直观读出唐诗的气质人月山相思不知反复出现万里不見几乎占满整个图面边塞的辽阔与离别的绵长都在这些字里。宋词连词牌名都结构化21050 首词放在宋词/目录ci.song.0.json起同样按每片约 1000 首分片。除author、paragraphs外每条还带rhythmic字段也就是词牌名例如导引。想按水调歌头西江月这种牌名批量取词一条过滤就够。目录里还有一份ci.db方便你直接导入数据库。这张《全唐诗》序言长图来自仓库原配图说明数据的底本来源清康熙年间编刻收录 2220 位诗人约四万九千首诗。chinese-poetry 在此基础上做了电子化与结构化。诗词之外诗经、四书与蒙学仓库并不只收诗词。诗经/、论语/、四书五经/各自独立成目录蒙学材料包括三字经、百家姓、千字文、千家诗等另外还有纳兰性德诗集、曹操诗集、幽梦影、元曲。对做中华古典文学语料的人来说一个仓库能覆盖从先秦到清代的多个文类省去到处拼凑的功夫。三步拿到可用语料第一步克隆仓库git clone https://gitcode.com/gh_mirrors/ch/chinese-poetry第二步定位数据目录。全唐诗/装唐宋诗宋词/装词诗经/、四书五经/装经典文集。分片文件按作者排序命名poet.tang.0.json是前 1000 首poet.tang.5000.json起就是第 5001 首往后按需读取即可。第三步解析 JSON。每首诗的结构长这样取自库内李白的《静夜思》{ title: 靜夜思, author: 李白, paragraphs: [牀前看月光疑是地上霜。, 舉頭望山月低頭思故鄉。], tags: [唐诗三百首, 思乡, 五言绝句, 小学古诗], id: ca2c489a-e433-4c0f-8248-77d354f0665e }仓库根目录还有loader/里面的data_loader.py配合datas.json索引能把任意数据集的paragraphs拼成一段连续语料训练模型前省掉手工拼接。三类落地场景直接借鉴NLP 语料构建算法同学拿分片 JSON 做字级或句级训练集唐宋诗合计三十多万首规模足以支撑 CharRNN 这类生成模型标签字段还能当分类任务用。诗词学习与检索应用学生团队做背诵打卡、名句检索、每日一诗类小程序数据、作者、词牌都是现成字段省去最脏的清洗环节。文化数据分析研究者做词频统计、作者作品榜、意象聚类仓库images/里的词云图就是这类分析的现成范例。边界与注意事项数据来自互联网采集存在版本异文商用请查看仓库LICENSEMIT引用前建议核对通行本原文。五十多万首作品都在这些 JSON 文件里躺着从全唐诗/翻起去仓库翻翻数据吧。【免费下载链接】chinese-poetryThe most comprehensive database of Chinese poetry 最全中华古诗词数据库, 唐宋两朝近一万四千古诗人, 接近5.5万首唐诗加26万宋诗. 两宋时期1564位词人21050首词。项目地址: https://gitcode.com/gh_mirrors/ch/chinese-poetry创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考