多模态情感分析开源项目文本、图像一起读懂情绪的完整上手路径【免费下载链接】Multimodal-Sentiment-Analysis多模态情感分析——基于BERTResNet的多种融合方法项目地址: https://gitcode.com/gh_mirrors/mu/Multimodal-Sentiment-Analysis一条推文写着今天天气真好配图却是一把被压断的伞你信哪个只看文字会判成积极只看图会判成消极。Multimodal-Sentiment-Analysis多模态情感分析就是一个基于 BERT ResNet50 的融合框架把推文文本和配图一起读进来输出积极、中性、消极三分类的情感判断。 什么场景适合用它先判断值不值得花时间目标任务三分类情感判断positive / neutral / negative数据是文本图像的英文推文五种融合方法可选两种朴素拼接/相加 三种注意力/Transformer 类用--fuse_model_type切换支持消融--text_only/--img_only跑单模态方便对比各模态贡献作者实测准确率 71.25%~74.625%其中 OTE 方法最高边界只覆盖图像文本两种模态没有音频数据集是固定的英文推文换自己的数据要遵循guid.txtguid.jpg的配对格式⚙️ 环境准备与首次训练git clone https://gitcode.com/gh_mirrors/mu/Multimodal-Sentiment-Analysis cd Multimodal-Sentiment-Analysis pip install -r requirements.txt仓库自带train.json、test.json但原始文本和图像不在仓库里按 README 里的数据集链接下载后放进data/data/目录每条样本是guid.txtguid.jpg一对。然后直接开训python main.py --do_train --epoch 10 --text_pretrained_model roberta-base --fuse_model_type OTE每轮验证后自动把最优模型存进output/目录不用改其他配置。 数据流里谁在调谁别背文件树跟着数据走一遍就懂数据入口utils/common.py的data_format把data/train.txt的标签和文本文件合并成train.jsonread_from_file逐条读入文本图像再按 8:2 切分训练/验证集。编码Processorutils/DataProcess.py用 BERT tokenizer 处理文本用 torchvision 对图像做缩放、中心裁剪、归一化组装成 DataLoader。融合文本过 RoBERTa 的 pooler图像过 ResNet50 主干各压到 64 维后送入fuse_model_type指定的融合结构如 OTE 是双 token 的 Transformer 编码器层输出三分类分数。训练与输出Trainer.py用 AdamW文本、图像两个预训练分支用 5e-6 的独立小学习率融合层用更大的学习率验证准确率提升才保存--do_test时把预测写入output/test.txt。OTE 是作者对比中得分最高的结构其余注意力结构CMAC、HSTEC的图和代码也都在src/目录一一对应。⚙️ 最常改的五个配置项配置名作用典型取值fuse_model_type选用哪种融合结构OTE / NaiveCombine / NaiveCat / CMAC / HSTECepoch训练轮数10learning_rate融合层参数学习率3e-5 ~ 5e-5bert_name文本预训练模型roberta-basetrain_paramsbatch_size训练批次大小16显存不足就减半都是Config.py里的类属性命令行参数传了就以参数为准。⚠️ 避坑与排错现象启动就报找不到.jpg→原因数据集没放进data/data/→解法下载解压后核对guid编号与train.json一一对应现象pip install失败torch 1.8.2、transformers 4.18 都是旧版本→原因较新的 CUDA / Python 环境装不上这些旧版 →解法按 README 对应版本配置环境装不上时以仓库最新 README 为准现象batch 16 跑 roberta resnet50 直接 OOM →原因两个分支默认全量解冻参数量大 →解法调小Config.py里train_params的batch_size现象--do_test跑完没结果 →原因没传--load_model_path→解法指向output/融合方法/pytorch_model.bin再看到那条天气真好的推文时直接丢给 OTE 跑一遍就知道它怎么判。第一步跑完上面 10 轮训练确认 Valid Acc 落在 70% 附近然后逐个换融合方法对比准确率——src/里的架构图能让架构差异一眼看明白。【免费下载链接】Multimodal-Sentiment-Analysis多模态情感分析——基于BERTResNet的多种融合方法项目地址: https://gitcode.com/gh_mirrors/mu/Multimodal-Sentiment-Analysis创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 多模态情感分析开源项目：文本、图像一起读懂情绪的完整上手路径
多模态情感分析开源项目文本、图像一起读懂情绪的完整上手路径【免费下载链接】Multimodal-Sentiment-Analysis多模态情感分析——基于BERTResNet的多种融合方法项目地址: https://gitcode.com/gh_mirrors/mu/Multimodal-Sentiment-Analysis一条推文写着今天天气真好配图却是一把被压断的伞你信哪个只看文字会判成积极只看图会判成消极。Multimodal-Sentiment-Analysis多模态情感分析就是一个基于 BERT ResNet50 的融合框架把推文文本和配图一起读进来输出积极、中性、消极三分类的情感判断。 什么场景适合用它先判断值不值得花时间目标任务三分类情感判断positive / neutral / negative数据是文本图像的英文推文五种融合方法可选两种朴素拼接/相加 三种注意力/Transformer 类用--fuse_model_type切换支持消融--text_only/--img_only跑单模态方便对比各模态贡献作者实测准确率 71.25%~74.625%其中 OTE 方法最高边界只覆盖图像文本两种模态没有音频数据集是固定的英文推文换自己的数据要遵循guid.txtguid.jpg的配对格式⚙️ 环境准备与首次训练git clone https://gitcode.com/gh_mirrors/mu/Multimodal-Sentiment-Analysis cd Multimodal-Sentiment-Analysis pip install -r requirements.txt仓库自带train.json、test.json但原始文本和图像不在仓库里按 README 里的数据集链接下载后放进data/data/目录每条样本是guid.txtguid.jpg一对。然后直接开训python main.py --do_train --epoch 10 --text_pretrained_model roberta-base --fuse_model_type OTE每轮验证后自动把最优模型存进output/目录不用改其他配置。 数据流里谁在调谁别背文件树跟着数据走一遍就懂数据入口utils/common.py的data_format把data/train.txt的标签和文本文件合并成train.jsonread_from_file逐条读入文本图像再按 8:2 切分训练/验证集。编码Processorutils/DataProcess.py用 BERT tokenizer 处理文本用 torchvision 对图像做缩放、中心裁剪、归一化组装成 DataLoader。融合文本过 RoBERTa 的 pooler图像过 ResNet50 主干各压到 64 维后送入fuse_model_type指定的融合结构如 OTE 是双 token 的 Transformer 编码器层输出三分类分数。训练与输出Trainer.py用 AdamW文本、图像两个预训练分支用 5e-6 的独立小学习率融合层用更大的学习率验证准确率提升才保存--do_test时把预测写入output/test.txt。OTE 是作者对比中得分最高的结构其余注意力结构CMAC、HSTEC的图和代码也都在src/目录一一对应。⚙️ 最常改的五个配置项配置名作用典型取值fuse_model_type选用哪种融合结构OTE / NaiveCombine / NaiveCat / CMAC / HSTECepoch训练轮数10learning_rate融合层参数学习率3e-5 ~ 5e-5bert_name文本预训练模型roberta-basetrain_paramsbatch_size训练批次大小16显存不足就减半都是Config.py里的类属性命令行参数传了就以参数为准。⚠️ 避坑与排错现象启动就报找不到.jpg→原因数据集没放进data/data/→解法下载解压后核对guid编号与train.json一一对应现象pip install失败torch 1.8.2、transformers 4.18 都是旧版本→原因较新的 CUDA / Python 环境装不上这些旧版 →解法按 README 对应版本配置环境装不上时以仓库最新 README 为准现象batch 16 跑 roberta resnet50 直接 OOM →原因两个分支默认全量解冻参数量大 →解法调小Config.py里train_params的batch_size现象--do_test跑完没结果 →原因没传--load_model_path→解法指向output/融合方法/pytorch_model.bin再看到那条天气真好的推文时直接丢给 OTE 跑一遍就知道它怎么判。第一步跑完上面 10 轮训练确认 Valid Acc 落在 70% 附近然后逐个换融合方法对比准确率——src/里的架构图能让架构差异一眼看明白。【免费下载链接】Multimodal-Sentiment-Analysis多模态情感分析——基于BERTResNet的多种融合方法项目地址: https://gitcode.com/gh_mirrors/mu/Multimodal-Sentiment-Analysis创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考