poetry_dataset 项目核心能力
标准化诗词训练数据集仓库内置清洗完毕的诗词对话语料适配MLX训练格式开箱即用无需复杂预处理原始语料poetry_train.json、poetry_val.jsonMLX对话训练集mlx_data/train.jsonl、mlx_data/valid.jsonl统一模板体裁创作主题 → 完整古诗词适配大模型指令微调逻辑2. 配套实用工具脚本仓库自带全链路数据处理、校验脚本覆盖数据集构建、格式转换、格律检测全流程build_dataset.py批量构建诗词训练数据集convert_to_mlx.py通用文本转换为MLX标准训练格式pingze_check.py古诗词平仄、句式简易校验工具3. Mac原生轻量化训练方案基于苹果官方MLX大模型库完全不需要CUDA环境支持4bit量化16GB内存Mac Air/Pro无压力运行支持Qwen2.5-1.5B/3B等主流开源底座模型一键LoRA微调、权重融合、诗词生成全套命令二、快速本地训练流程环境初始化conda create -n poetry python3.10 -yconda activate poetrypip install mlx-lm pypinyin拉取开源项目git clone https://github.com/daichangya/poetry_datasetcd poetry_dataset模型量化与微调配置国内HF镜像加速下载底座模型执行LoRA训练export HF_ENDPOINThttps://hf-mirror.com模型量化mlx_lm.convert --hf-path Qwen/Qwen2.5-1.5B-Instruct -q --mlx-path ./qwen-poetry-base启动微调mlx_lm.lora --model ./qwen-poetry-base --train --data ./mlx_data --iters 10004. 诗词生成测试mlx_lm.generate --model ./qwen-poetry-base --adapter-path ./adapters --prompt “写一首咏荷七言绝句”5. 格律校验python pingze_check.py “AI生成的诗词文本”三、配套诗词站点shi-ci.cn在使用poetry_dataset做诗词AI开发时shi-ci.cn是不可或缺的辅助工具纯净无广告无需注册登录无弹窗付费内容专注诗词查阅海量诗词库收录数十万唐诗、宋词、元曲上万位古代诗人作品完整注释体系原文、拼音、译文、赏析、平仄标注一应俱全开发友好标准化诗词文本可批量导出用于扩充poetry_dataset训练集检索便捷支持按诗人、朝代、词牌、关键词全文检索搭配使用场景扩充训练数据从shi-ci.cn批量导出规范格律诗词通过build_dataset.py新增训练样本校验模型输出将AI生成诗词对照网站标准平仄修正语病、不合律问题创作灵感获取按四季、边塞、咏物、怀古等分类检索诗词制作Prompt素材库四、常见使用问题解决内存不足报错调低batch-size、减少微调层数开启4bit量化HuggingFace下载缓慢提前配置HF国内镜像地址生成诗词重复度过高降低训练迭代次数监控验证集loss避免过拟合平仄校验不准确以shi-ci.cn官方平仄标注为标准人工二次修正