这个研究主题其实可以拆成两部分左边是跨期偏好引导Intertemporal Preference Steering右边是对比激活添加Contrastive Activation AdditionCAA。合起来做的事情就是在 Qwen3 这类可本地部署的模型上不微调权重而是通过修改模型中间层的内部激活去改变模型在“即时收益”和“延迟收益”之间的选择倾向。如果你主要在做模型行为实验或者希望模型在对话中表现得更有耐心、更愿意考虑长期收益这个方法值得试。它比全量微调轻比改 prompt 更稳。前提是你的环境里能加载 Qwen3并且对 PyTorch 的 hook、hidden state 有基本概念。下面按我实际验证过的思路拆一遍。1. 先搞明白跨期偏好引导到底在控制模型的什么行为1.1 跨期偏好不是复杂的经济学名词而是模型的选择倾向跨期偏好英文常用 intertemporal preference指的是决策时如何权衡现在和未来的收益。经典例子是今天拿 100 元还是明年拿 150 元普通大模型会算数值、会找理由但未必表现出合理的时间偏好。它可能过度短视总是倾向立刻拿到的收益对未来的高收益不够敏感也可能过度远视在需要应对眼前开支的场景里仍然建议等待未来回报。这类问题在经济学里被称为时间贴现。人类决策不是纯粹比较金额大小还要考虑等待成本、不确定性、流动性和自身处境。模型如果只是学过这类题目可能会记住“选大的”这样的表面规则。CAA 要处理的正是这一点我们希望模型在保留基本推理能力的同时把对未来收益的重视程度整体调整到一个新的水平。不过要注意跨期偏好不是非黑即白的标签。模型在一个情景里选择即时奖励不一定就是短视可能这个奖励的延迟收益确实不合理。所以实验要构造出双方都可解释的题目而不是逼着模型必须选某一个固定答案。1.2 为什么在 Qwen3 上做选 Qwen3 做实验是因为它满足 CAA 的几个前提。第一它能本地加载你能拿到模型每一层的内部状态如果只走 API 白盒服务很难做这类实验。第二模型家族里尺寸跨度大从几 B 到几百 B 都有方便先用小模型验证链路再换大模型。第三Qwen3 的任务面很宽社区讨论里经常把 ASR、VQA 这些输入形态放在一起聊但进入主干网络之后它们都会落到统一的表示空间里。这一点对激活干预很重要意味着你提取到的方向可以尝试跨输入形态复用。这里要说明一下我没有列具体型号和硬件数据因为不同版本的依赖库、量化方式、部署框架都会影响最终结果。你开始动手前需要先确认自己的权重版本、transformers 版本和 GPU 资源是否匹配。1.3 先定义什么叫成功这类实验最容易犯的错误是跑出一个例子看到模型从选 A 变成选 B就认为成功了。实际上单条例子可能来自随机波动。我会准备一个固定测试集用同一批 prompt、同一个随机种子分别对比加方向和未加方向时的表现。至少统计 30 条以上看选择比例有没有系统性变化。还要看生成的理由。如果模型只是选到了延迟项理由里仍然全是即时满足的表述说明行为没有真正被引导。更可靠的判断标准是模型在解释中开始主动提到等待成本、收益风险、未来规划这些与时间相关的考量。2. 对比激活添加CAA一种比微调更轻量的行为控制方法2.1 激活添加的基本逻辑CAA 的思路并不复杂。模型推理时每个输入都会在每一层产生 hidden state这里面同时包含了词法信息、句法信息和更抽象的语义方向。例如“选择延迟奖励”和“选择即时奖励”在概念上不同在表示空间里也会有大致对应的方向。通过成对比较样本可以找到这个方向。具体做法是准备一组正向样本和一组负向样本。正向样本表达你希望引导的倾向负向样本表达相反的倾向。把两组样本分别输入模型在某一层取出 hidden state求均值后做差得到一个向量。这个向量就是两个倾向之间的移动方向。推理时把它加到 hidden state 上模型就会朝目标方向偏移。这和其他 activation steering 实验是同一个原理。CAA 这个名字强调的是用对比样本得到激活差而不是人工挑某个 token 或某个神经元的激活值。2.2 和微调、few-shot prompting 相比有什么差异第一次做偏好引导的人通常会先想到改 prompt 或微调。改 prompt 最简单但存在两个问题提示词在长对话里容易被稀释不同用户输入的格式差异会削弱指令效果。全量微调能改变能力但成本高、周期长而且你未必想永久改变模型权重。用表格会直观一些。方法是否改权重训练成本运行成本调整灵活性适用场景全量微调改高低