尧图建网站 尧图建网站 YAOTU WEB BUILD 免费咨询
ARTICLE DETAIL

资讯详情

深耕网站建设与建站编程的一线实战洞察。

Multimodal Large Language Models with Adaptive Preference Optimization for Sequential Recommendation

Multimodal Large Language Models with Adaptive Preference Optimization for Sequential Recommendation 文章核心总结与翻译一、主要内容本文聚焦多模态大语言模型(MLLMs)在序列推荐中的应用,针对现有方法存在的样本难度不平衡(随机负采样导致模型过拟合易样本、欠拟合难样本)和跨模态语义偏差(DPO中固定参考模型阻碍模态对齐,长序列放大偏差)两大核心问题,提出了一种融合难度感知与噪声正则化偏好优化的框架HaNoRec。研究背景:现有序列推荐方法中,纯LLM仅依赖文本信息,无法充分利用图像等多模态数据;传统MLLM-based方法虽融合多模态,但在偏好学习中存在样本优化失衡和模态语义错位问题,影响推荐准确性。核心框架:难度感知重加权策略(HaRS):通过计算正负样本的语义相似度聚类,动态估计样本难度,并结合模型实时响应性调整DPO优化权重,优先关注难区分样本。噪声正则化分布优化(NoDO):在模型输出logits中引入高斯噪声扰动,通过KL散度约束对齐标题-图像的跨模态语义,缓解模态偏差。实验验证:在Microlens、Netflix、Movielens-1M三个基准数据集上,HaNoRec在AUC、HR@3、NDCG@3等指标上显著优于传统推荐模型、LLM-based模型及现有MLLM-based模型,验证了其有效性。/
返回列表