1. 项目缘起为什么选择复现 lyrics_generation最近在整理一些老项目时翻到了一个基于 TensorFlow 的歌词生成模型。这个项目在几年前还挺火的当时很多人用它来体验 AI 写歌的乐趣。现在回头看虽然 PyTorch 的风头正劲但 TensorFlow 的生态和文档尤其是对于刚入门深度学习的朋友来说依然有其独特的价值。很多人问现在学 TensorFlow 还有必要吗我的看法是对于理解深度学习的基本流程、数据预处理、模型构建和训练循环这些核心概念TensorFlow 提供了一个非常“教科书式”的清晰范例。它的静态图虽然现在也支持动态图思维能强迫你把数据流想清楚这对于打基础是好事。所以我决定把这个lyrics_generation项目重新复现一遍。目的有几个一是带大家走一遍完整的 NLP自然语言处理项目流程从数据到可运行的模型二是深入聊聊 TensorFlow 在这个过程中的一些关键操作和容易踩的坑三是结合现在的视角看看这个经典模型有哪些可以优化和改进的地方。无论你是想重温 TensorFlow还是刚接触文本生成这篇手把手的复盘都应该能给你带来些实实在在的收获。2. 环境搭建与依赖管理避开版本冲突的深坑复现老项目第一道坎往往是环境。TensorFlow 的版本变迁堪称一部“断代史”不同版本间的 API 差异可能让代码直接跑不起来。我们这个歌词生成项目通常基于 TensorFlow 1.x 的静态图思路构建但为了更好的兼容性和学习价值我会用 TensorFlow 2.x 的兼容模式即tf.compat.v1来重现同时也会指出原生 TF2 的做法。2.1 虚拟环境隔离的艺术第一步强烈建议使用虚拟环境。这是 Python 项目管理的黄金法则能避免包版本冲突把系统环境搞得一团糟。用venv或conda都可以。# 使用 venv (Python 3.3 内置) python -m venv lyrics_gen_env # 激活环境 # Windows: lyrics_gen_env\Scripts\activate # Linux/Mac: source lyrics_gen_env/bin/activate激活后你的命令行提示符前会出现环境名(lyrics_gen_env)这表示你已经在独立的环境中了。2.2 核心依赖安装与版本选择接下来安装 TensorFlow。考虑到项目的时代背景和稳定性我们选择 TensorFlow 2.10 或 2.12 这类长期支持版本。它们对 TF1 的兼容性支持比较完善。pip install tensorflow2.12.0为什么是 2.12.0这是一个在性能和兼容性上比较平衡的版本。安装时pip会自动处理像numpy、protobuf这些间接依赖但有时自动安装的版本未必最优。一个常见的坑是numpy版本过高可能与 TensorFlow 内部编译的代码不兼容导致出现 “Cannot convert a symbolic Tensor...” 之类的诡异错误。如果遇到可以尝试指定一个稍旧的numpy版本比如pip install numpy1.23.5。除了 TensorFlow我们还需要一些数据处理和工具库pip install numpy pandas matplotlib seaborn pip install jieba # 用于中文分词如果处理英文歌词可不用 pip install tqdm # 用于显示进度条体验更好安装完成后可以写一个简单的测试脚本test_tf.py来验证import tensorflow as tf print(f“TensorFlow 版本: {tf.__version__}”) print(f“GPU 是否可用: {tf.config.list_physical_devices(‘GPU’)}”) # 测试兼容性模式 tf.compat.v1.disable_eager_execution() # 关闭即时执行启用图模式 hello tf.constant(‘Hello, TensorFlow!’) sess tf.compat.v1.Session() print(sess.run(hello))如果能成功打印出版本和 “Hello, TensorFlow!”并且没有报错说明基础环境就绪。注意tf.compat.v1.disable_eager_execution()这行它关闭了 TF2 默认的即时执行模式让我们可以像 TF1 那样构建和运行计算图这对于理解很多老代码至关重要。2.3 数据准备寻找与清洗歌词语料任何文本生成模型都始于数据。歌词数据可以从多个渠道获取比如公开的歌词网站注意版权、Kaggle 数据集或者音乐平台的 API。这里假设我们已经获得了一个包含大量歌词文本的.txt文件每行一首歌的歌词或每段歌词用空行隔开。数据清洗是 NLP 中最繁琐但最关键的一步直接决定模型生成质量的上限。读取与合并将所有歌词文本读入一个长字符串或列表。去除噪声无关符号删除或替换歌词中多余的 HTML 标签、特殊字符如♪、[Verse 1]、乱码等。统一格式将全角字符转换为半角英文和数字统一换行符为\n。处理空格中文歌词通常不需要分词但需要去除多余空格。英文歌词则需要保留单词间的空格。文本规范化大小写处理对于英文通常统一转为小写以减小词表大小。但有时保留大小写能体现风格这是一个权衡。数字处理可以将所有数字替换为NUM这样的特殊标记避免模型学习无意义的数字序列。构建词表这是核心。我们需要将文本转换成模型能理解的数字。字符级Char-level将每个汉字或英文字母作为一个基本单位。优点词表小几千不会出现未登录词。缺点序列长难以捕捉长距离语义。词级Word-level通过分词中文用 jieba英文按空格得到词语。优点语义单元更完整。缺点词表可能非常大几十万需要处理未登录词OOV。子词级Subword如 BPEByte Pair Encoding平衡了以上两者是当前主流。但在我们这个复现项目中为了简单直观我推荐使用字符级建模。这对于学习模型原理和生成带有语言风格的文本如歌词的押韵已经足够。清洗后我们得到干净的文本corpus然后构建字符到 ID 和 ID 到字符的映射# 获取所有唯一字符 vocab sorted(set(corpus)) print(f‘共有 {len(vocab)} 个唯一字符。’) # 创建映射 char2idx {u: i for i, u in enumerate(vocab)} idx2char np.array(vocab) # 用数组便于批量转换 # 将整个语料转换为数字序列 text_as_int np.array([char2idx[c] for c in corpus])现在数据就准备好了。例如句子 “你好” 可能被表示为[23, 45]。3. 模型构建理解 RNN 与 LSTM 的核心设计歌词生成本质上是一个序列到序列Seq2Seq的预测任务给定前面的一系列字符预测下一个最可能出现的字符。循环神经网络RNN及其变体 LSTM长短期记忆网络是处理这类序列数据的经典选择。3.1 从 RNN 到 LSTM为什么是 LSTM基础的 RNN 存在著名的“梯度消失/爆炸”问题难以学习长序列中的长期依赖关系。而歌词的创作前后句之间、主歌副歌之间往往有结构和情感上的呼应需要模型具备一定的“记忆”能力。LSTM 通过引入“细胞状态”cell state和“门控机制”输入门、遗忘门、输出门能够有选择地记住或忘记信息从而更好地捕捉长期依赖。在我们的项目中将使用 TensorFlow 构建一个多层的 LSTM 模型。模型的主要输入是字符的嵌入向量Embedding经过 LSTM 层处理最后通过全连接层输出对下一个字符的预测概率。3.2 使用 tf.keras 与 tf.compat.v1 混合构建模型为了兼顾代码的清晰度和对老代码的复现我们采用混合方式。模型定义部分用现代的tf.keras.layers而训练循环和损失计算则用tf.compat.v1的图模式来演示这样你能看到两种风格。首先定义一些超参数# 超参数 BATCH_SIZE 64 # 每批数据量 BUFFER_SIZE 10000 # 数据混洗缓冲区大小 embedding_dim 256 # 字符嵌入向量的维度 rnn_units 1024 # LSTM 隐藏单元数 seq_length 100 # 每个输入序列的长度时间步 vocab_size len(vocab) # 词表大小 epochs 30 # 训练轮数接着创建训练用的数据集。我们需要将整个数字序列text_as_int切成许多个长度为seq_length1的连续片段。对于每个片段前seq_length个字符作为输入X后seq_length个字符作为目标YY 正好是 X 向左移动一位。例如序列 “hello” 可以生成输入 “hell” 和目标 “ello”。def split_input_target(chunk): input_text chunk[:-1] # 从第一个到倒数第二个字符 target_text chunk[1:] # 从第二个到最后一个字符 return input_text, target_text # 创建 tf.data.Dataset char_dataset tf.data.Dataset.from_tensor_slices(text_as_int) sequences char_dataset.batch(seq_length1, drop_remainderTrue) dataset sequences.map(split_input_target) # 混洗、分批和预取优化数据管道 dataset dataset.shuffle(BUFFER_SIZE).batch(BATCH_SIZE, drop_remainderTrue).prefetch(tf.data.experimental.AUTOTUNE)现在构建模型。我们使用 Keras 的函数式 APIdef build_model(vocab_size, embedding_dim, rnn_units, batch_size): model tf.keras.Sequential([ # 第一层嵌入层将字符ID映射为密集向量 tf.keras.layers.Embedding(vocab_size, embedding_dim, batch_input_shape[batch_size, None]), # 第二、三层堆叠的 LSTM 层return_sequencesTrue 表示返回每个时间步的输出 tf.keras.layers.LSTM(rnn_units, return_sequencesTrue, statefulTrue, # stateful 意味着批次间的状态会传递适合文本生成 recurrent_initializer‘glorot_uniform’), tf.keras.layers.LSTM(rnn_units, return_sequencesTrue, statefulTrue, recurrent_initializer‘glorot_uniform’), # 第四层全连接层输出维度等于词表大小表示每个字符的预测得分logits tf.keras.layers.Dense(vocab_size) ]) return model model build_model(vocab_size, embedding_dim, rnn_units, BATCH_SIZE) model.summary() # 打印模型结构这里有几个关键点statefulTrue这非常重要。在训练时一个批次内样本 i 在时间步 t 的隐藏状态会作为样本 i 在时间步 t1 的输入。批次之间即model.reset_states()被调用前状态也会保留。这模拟了处理一个超长连续序列的场景非常适合文本生成。但在预测单个样本生成时我们需要用batch_size1重新构建模型。return_sequencesTrue因为我们要对输入序列的每一个时间步都做预测所以需要每个时间步的输出。没有在 LSTM 后直接加 Softmax这是因为标准的做法是使用tf.keras.losses.sparse_categorical_crossentropy损失函数并设置from_logitsTrue。让损失函数内部处理 Softmax 在数值上更稳定。3.3 损失函数与优化器配置定义损失函数和优化器。我们使用稀疏分类交叉熵因为我们的目标是字符的索引整数标签。# 定义损失函数 def loss(labels, logits): return tf.keras.losses.sparse_categorical_crossentropy(labels, logits, from_logitsTrue) # 配置优化器 optimizer tf.keras.optimizers.Adam(learning_rate0.001) # 编译模型在 eager 模式下方便查看 model.compile(optimizeroptimizer, lossloss)为了在 TF1 风格的图模式下进行更底层的控制这也是原项目的常见写法我们也可以这样操作# 使用 tf.compat.v1 图模式进行训练备选方案 tf.compat.v1.disable_eager_execution() # 创建占位符 inputs tf.compat.v1.placeholder(tf.int32, [BATCH_SIZE, None]) targets tf.compat.v1.placeholder(tf.int32, [BATCH_SIZE, None]) # 构建同一个模型但需要从占位符开始 embedding tf.keras.layers.Embedding(vocab_size, embedding_dim)(inputs) lstm1 tf.keras.layers.LSTM(rnn_units, return_sequencesTrue, statefulTrue, recurrent_initializer‘glorot_uniform’)(embedding) lstm2 tf.keras.layers.LSTM(rnn_units, return_sequencesTrue, statefulTrue, recurrent_initializer‘glorot_uniform’)(lstm1) logits tf.keras.layers.Dense(vocab_size)(lstm2) # 定义损失和优化器 loss tf.reduce_mean( tf.nn.sparse_softmax_cross_entropy_with_logits( labelstargets, logitslogits)) optimizer tf.compat.v1.train.AdamOptimizer(learning_rate0.001) train_op optimizer.minimize(loss)这种写法更接近 TensorFlow 1.x 的原生风格让你理解计算图、占位符和会话Session的概念。不过对于训练我们主要使用第一种更现代的 Keras 方式。4. 模型训练与监控技巧与陷阱有了模型和数据就可以开始训练了。但训练文本生成模型不像图像分类那样有明确的准确率指标我们需要更细致的监控。4.1 训练循环与状态管理由于我们使用了statefulTrue的 LSTM状态管理就成了一个关键。在每个 epoch 开始时我们需要重置模型的状态因为新的 epoch 要处理重新打乱过的数据序列间的连续性被打破了。# 训练循环示例 (使用 model.fit 或自定义循环) # 方法一使用 Keras 的 fit 方法简单 # history model.fit(dataset, epochsepochs) # 方法二自定义训练循环更灵活便于添加自定义逻辑和监控 for epoch in range(epochs): print(f‘\nEpoch {epoch1}/{epochs}’) # 重置模型状态 model.reset_states() # 使用 tqdm 显示进度条 for (batch_n, (inp, target)) in enumerate(dataset): # 执行一步训练 with tf.GradientTape() as tape: predictions model(inp, trainingTrue) batch_loss loss(target, predictions) # 计算梯度并更新权重 gradients tape.gradient(batch_loss, model.trainable_variables) optimizer.apply_gradients(zip(gradients, model.trainable_variables)) # 每 N 个批次打印一次损失 if batch_n % 100 0: print(f‘ Batch {batch_n}, Loss: {batch_loss.numpy():.4f}’)在自定义循环中tf.GradientTape()用于记录前向传播的操作以便计算梯度。这是 TF2 的动态图特性。每 100 个批次打印一次损失可以观察训练是否在向好的方向发展。4.2 过拟合与欠拟合的观察文本生成模型很容易过拟合即完美“背诵”训练数据但失去生成新内容的能力。监控训练损失和验证损失如果有验证集是关键。如果训练损失持续下降但验证损失在某个点后开始上升就是过拟合的信号。应对策略增加数据量这是最根本的方法。使用 Dropout在 LSTM 层后或嵌入层后添加tf.keras.layers.Dropout(0.2)。降低模型复杂度减少rnn_units或 LSTM 层数。早停Early Stopping当验证损失不再下降时停止训练。权重正则化在 Dense 层或 LSTM 层添加kernel_regularizer。在我们的项目中由于歌词数据可能有限过拟合是常见问题。一个实用的技巧是观察训练过程中的生成样例。如果生成的歌词越来越像某几首训练集中的歌甚至出现大段原文那很可能过拟合了。4.3 保存与加载模型训练好的模型需要保存下来以便后续生成歌词时使用。TensorFlow 推荐使用tf.keras.models.save_model和load_model。# 保存整个模型包括架构、权重和优化器状态 model.save(‘lyrics_generation_model.h5’) # 或者只保存权重 model.save_weights(‘./checkpoints/lyrics_gen_weights’) # 加载模型 new_model tf.keras.models.load_model(‘lyrics_generation_model.h5’, compileFalse) # 注意加载后如果用于生成需要根据新的 batch_size 重建模型状态。对于statefulLSTM加载模型后在生成前需要根据你的输入通常是batch_size1的单个序列重新构建模型状态。一个常见的做法是保存模型架构和权重然后在生成脚本中重新用相同的架构构建一个batch_size1的模型再加载权重。5. 文本生成策略从贪婪解码到温度采样模型训练好后最激动人心的部分就是生成歌词了。如何从模型输出的概率分布中“选择”下一个字符直接决定了生成文本的质量和多样性。5.1 构建生成模型首先我们需要一个专门用于生成的模型。因为训练时batch_size是固定的如64但生成时我们通常一次只生成一首歌batch_size1。所以需要重建一个结构相同但输入批次维度为1的模型并加载训练好的权重。def build_generation_model(vocab_size, embedding_dim, rnn_units): # batch_size 设为 1 用于生成 model tf.keras.Sequential([ tf.keras.layers.Embedding(vocab_size, embedding_dim, batch_input_shape[1, None]), tf.keras.layers.LSTM(rnn_units, return_sequencesTrue, statefulTrue, recurrent_initializer‘glorot_uniform’), tf.keras.layers.LSTM(rnn_units, return_sequencesTrue, statefulTrue, recurrent_initializer‘glorot_uniform’), tf.keras.layers.Dense(vocab_size) ]) return model generation_model build_generation_model(vocab_size, embedding_dim, rnn_units) generation_model.load_weights(tf.train.latest_checkpoint(‘./checkpoints’)) # 加载权重 generation_model.build(tf.TensorShape([1, None])) # 显式构建模型5.2 单步预测函数这个函数接收一个当前字符的 ID 和模型的隐藏状态返回下一个字符的预测概率分布。def generate_one_step(model, inputs, statesNone): # 将输入转换为张量并增加批次维度 input_chars tf.expand_dims([inputs], 0) # 模型预测 predictions, states model(inputsinput_chars, statesstates, return_stateTrue) # 去掉批次维度得到最后一个时间步的预测 logits predictions tf.squeeze(predictions, 0) predicted_id tf.random.categorical(predictions, num_samples1)[-1,0].numpy() return predicted_id, states注意这里model的调用需要支持return_stateTrue参数。我们上面用 Keras 构建的模型默认不支持需要稍作修改或使用其他方式获取状态。一个更通用的方法是使用模型直接预测然后手动管理状态通过model.reset_states()和model.states属性但这种方式对多层 LSTM 不友好。在实际复现中你可能需要参考原项目的状态管理方式或者使用tf.keras.layers.RNN单元格配合tf.keras.layers.RNN包装器来更精细地控制状态。5.3 核心生成循环与解码策略生成循环的逻辑是给定一个起始字符串seed将其转换为 ID 序列输入模型得到初始状态然后循环调用generate_one_step将预测出的字符作为下一步的输入同时更新状态直到生成足够长度的文本。解码策略是灵魂所在贪婪搜索Greedy Search每次都选择概率最高的字符作为下一个。predicted_id tf.argmax(predictions, axis-1)[-1].numpy()。这种方法简单高效但生成的文本往往非常保守、重复、缺乏创意容易陷入循环。随机采样Random Sampling根据模型输出的概率分布随机抽取下一个字符。predicted_id tf.random.categorical(predictions, num_samples1)[-1,0].numpy()。这能带来多样性但可能生成不连贯、语法错误的文本。温度采样Temperature Sampling这是最常用且效果最好的方法之一。它在随机采样的基础上通过一个温度参数T来控制分布的平滑程度。T 1使用原始概率分布。T 1提高低概率字符的权重分布更平滑生成结果更多样、更有创意但也更冒险。0 T 1降低低概率字符的权重分布更尖锐生成结果更确定、更保守更接近贪婪搜索。def generate_text(model, start_string, num_generate500, temperature1.0): # 将起始字符串转换为ID input_eval [char2idx[s] for s in start_string] input_eval tf.expand_dims(input_eval, 0) # 重置模型状态 model.reset_states() # 用于存储生成的ID text_generated [] # 将起始字符串输入模型预热状态 for i in range(len(start_string)-1): _, _ model(input_eval[:, i:i1]) # 最后一个字符用于启动生成循环 last_char_id input_eval[0, -1] text_generated.append(last_char_id.numpy()) for i in range(num_generate): # 使用模型预测下一个字符的概率分布 predictions, _ model(input_eval[:, -1:]) # 只输入最后一个字符 predictions tf.squeeze(predictions, 0) # 移除批次维度 predictions predictions / temperature # 应用温度 # 使用 categorical 采样 predicted_id tf.random.categorical(predictions, num_samples1)[-1,0].numpy() # 将预测的字符作为下一轮输入 input_eval tf.expand_dims([predicted_id], 0) text_generated.append(predicted_id) # 将ID序列转换回文本 return start_string ‘’.join([idx2char[idx] for idx in text_generated[len(start_string):]])温度temperature的选择没有固定值需要根据生成效果调整。对于歌词我通常从 0.8 开始尝试。太低会像“车轱辘话”太高则可能语无伦次。你可以生成多组不同温度的结果选择最满意的一段。6. 效果评估与迭代优化让歌词更像“人话”模型能生成文本了但质量如何评估对于生成式任务没有像准确率那样明确的指标。我们需要从多个维度人工评估并据此迭代优化。6.1 生成质量的主观评估维度连贯性Coherence生成的句子在语法和基本语义上是否通顺前后句是否有逻辑关联创造性Creativity是简单的数据堆砌还是能产生新的、合理的搭配和意象风格一致性Style Consistency生成的歌词是否保持了训练数据中某种音乐风格如民谣的叙事性、摇滚的爆发力或歌手的用词习惯结构合理性Structure是否有类似“主歌-副歌-桥段”的结构感段落划分是否清晰押韵与节奏Rhyme Rhythm对于歌词尤为重要。模型是否能在一定程度上学习到押韵模式字符级模型在捕捉押韵方面有时比词级模型更有优势因为它能感知到字符的重复。6.2 基于评估的迭代优化方向如果生成效果不理想可以从以下几个方向排查和优化数据问题数据量不足这是最常见的问题。尝试收集更多、更高质量的歌词数据。数据噪声大回头检查数据清洗步骤是否还有大量无关符号、广告语等未清除。数据单一如果只训练了一个歌手的歌词模型风格会非常局限。可以尝试混合多种风格的歌词让模型学习更通用的语言模式。模型问题模型容量不足或过大调整rnn_units和 LSTM 层数。可以先从一个中等规模如 512 单元2 层开始。序列长度seq_length太短则模型看不到足够的上文太长则训练困难且容易过拟合。可以尝试 50, 100, 150 等不同值。尝试更先进的架构LSTM 是经典选择但可以尝试 GRU参数更少训练更快或者 Transformer 的 Decoder 部分如 GPT 结构。对于 TensorFlow可以使用tf.keras.layers.GRU或tf.keras.layers.MultiHeadAttention来构建。训练技巧学习率调度使用tf.keras.callbacks.ReduceLROnPlateau在损失停滞时降低学习率。梯度裁剪在自定义训练循环中可以使用tf.clip_by_global_norm(gradients, clipnorm5)防止梯度爆炸这对 RNN 训练很有帮助。更长的训练时间有时只是训练轮数不够。耐心点观察损失曲线是否还有下降空间。6.3 一个实用的优化案例引入注意力机制为了让模型在生成某个词时能更好地“关注”到前文中相关的部分比如副歌重复主歌的某句可以引入注意力机制Attention。在 TensorFlow 2.x 中可以方便地使用tf.keras.layers.Attention层。基本思路是在 LSTM 的顶层添加一个注意力层让解码过程生成下一个字符能够加权结合所有编码器时间步已生成的上下文的信息。这能显著提升生成长文本的连贯性。实现起来比基础的 LSTM 复杂一些需要定义编码器和解码器但网上有很多结合 Attention 的 Seq2Seq 文本生成教程可以作为进阶挑战。7. 项目总结与扩展思考复现这个lyrics_generation项目走完从数据准备、模型构建、训练到生成的完整流程你对 TensorFlow 的操作和序列生成任务的理解应该深入了不少。TensorFlow 虽然在某些领域被 PyTorch 赶超但其严谨的 API 设计和强大的生产部署工具链依然是工业界的重要选择。通过这个项目你不仅学会了如何用 TensorFlow 处理文本数据、构建 RNN 模型更重要的是理解了状态管理、温度采样这些在生成任务中至关重要的概念。最后分享几个我踩过坑后总结的经验状态管理是魔鬼statefulTrue用好了威力巨大用错了调试到崩溃。务必清楚何时该reset_states()。在生成脚本中如果从中间开始生成感觉不对劲先检查状态是否重置正确。温度是调节创意的旋钮不要只用一个温度。写一个循环用 0.5, 0.8, 1.0, 1.2 分别生成几段对比看看你会发现模型的不同“性格”。数据质量决定天花板花在数据清洗上的时间绝对比调参更有价值。脏数据训练出的模型生成的内容也往往包含奇怪的符号和断句。从字符级开始如果你是第一次做文本生成强烈建议从字符级模型开始。它简单、稳定能快速给你正反馈让你理解整个流程。之后再挑战词级或子词级BPE模型。这个项目可以扩展的方向很多比如结合旋律信息做真正的“AI 作曲”或者加入情感标签控制生成歌词的情绪甚至用 Transformer 架构替换 LSTM 来捕捉更长期的依赖。希望这次复现之旅能成为你探索更广阔 AI 生成世界的一块坚实跳板。