【模型】从基准模型往上加，看看Decoder-only模型何时能生成人话

文章目录模型初始模型BPE token拆分 推理优化训练语料从1万行扩大到10万行启用双卡试试 5epoch 10万行训练数据100万行数据 2ep 更小得模型预估1000万行 2epoch能说人话模型iknet-v1本地占用240MB 1万条训练语料初始模型生成重复字BPE token拆分 推理优化训练语料从1万行扩大到10万行一张t4跑不动了 30天有点扯了启用双卡试试 5epoch 10万行训练数据IKNet-V1 训练 多卡训练: 2 × GPU (DDP) GPU 0: Tesla T4 (15.6GB) GPU 1: Tesla T4 (15.6GB) [1/4] 准备数据... 从 iknet/data/train.txt 加载 100000 条文本 词表大小: 100281 (BPE, cl100k_base) 前100条平均 token: 50.0 (原字符数: 71.5) 数据集: 100000 样本, 6250 批次/epoch (每卡 bs8, 总 batch16) [2/4] 初始化模型... 混合精度: BF16 已启用 IKNet-V1 参数量: 138.38M model: 138.38M lm_head: 77.02M100万行数据 2ep 更小得模型等待验证–epochs 2–batch-size 8–seq-len 256–hidden-size 768–num-layers 6–num-heads 8–num-kv-heads 2–ffn-mult 2.0–bf16 预估1000万行 2epoch能说人话