体积缩小75%、推理更快roberta-base-go_emotions的ONNX与INT8量化版本部署指南【免费下载链接】roberta-base-go_emotions项目地址: https://ai.gitcode.com/hf_mirrors/ai-gitcode/roberta-base-go_emotionsroberta-base-go_emotions 是一个基于 RoBERTa-Base 的文本情绪分类模型可在 go_emotions 数据集上识别 28 种人类情绪。本指南面向新手手把手教你部署它的 ONNX 与 INT8 量化版本模型体积缩小 75%、推理速度更快、依赖更轻且几乎不损失精度。 先认识一下这个情绪分类模型在部署之前花一分钟了解它是什么、由哪些文件组成能帮你少走弯路。训练基础由 roberta-base 在 go_emotions 数据集源自 Reddit 的真实评论数据上微调而来任务类型多标签文本分类 —— 一段话可以同时带有多种情绪输出结果对 28 种情绪各输出一个 0~1 的概率值通常用 0.5 作为阈值判断是否命中28 种情绪标签包括admiration钦佩、amusement逗乐、anger愤怒、annoyance烦躁、approval赞同、caring关心、confusion困惑、curiosity好奇、desire渴望、disappointment失望、disapproval不认可、disgust厌恶、embarrassment尴尬、excitement兴奋、fear恐惧、gratitude感激、grief悲伤、joy喜悦、love爱、nervousness紧张、optimism乐观、pride自豪、realization领悟、relief释然、remorse懊悔、sadness难过、surprise惊讶、neutral中性。这些标签定义可查看 config.json。仓库文件一览文件作用config.json模型结构配置12 层 Transformer、隐藏层 768、28 个情绪标签映射tokenizer.json / vocab.json / merges.txt分词器三件套负责把文本切成模型能读的词元special_tokens_map.json / tokenizer_config.json特殊符号与分词参数最大长度 512model.safetensors / pytorch_model.binPyTorch 原始权重float32 精度trainer_state.json训练日志共训练 3 个 epoch最终评估 F1 约 0.586README.md官方说明数据集介绍、评估指标与使用方法 小知识从 trainer_state.json 可以看到模型第 1~3 轮的评估 F1 从 0.535 稳步提升到 0.586说明训练充分、效果稳定。⚡ 为什么要用 ONNX 与 INT8 量化版本直接使用 PyTorch 原始权重当然没问题但官方同时提供了ONNX 格式版本包含INT8 量化 ONNX 版本对生产部署来说优势非常明显推理更快—— 尤其是小批量比如一次只判断一两句话的场景加速效果最明显体积暴降 75%—— INT8 量化把权重从 32 位浮点压缩到 8 位整数下载、存储、加载成本大幅降低依赖大幅精简—— 只需安装 onnxruntime 一个推理引擎不必拖上整个 PyTorch跨平台能力强—— 同一份 ONNX 模型可以在 CPU、GPU、NPU 甚至移动端上运行三个版本怎么选版本文件体积推理速度精度表现适用场景PyTorch 原版大float32基准完整需要继续训练、做实验ONNX 版与原版相当更快基本无损追求速度、跨平台部署INT8 量化 ONNX 版缩小 75%最快几乎无损边缘设备、高并发、带宽受限一句话原则只做推理 → 选 ONNX追求极致体积与速度 → 选 INT8 量化版还要训练 → 留 PyTorch 原版。 ONNX 量化版本一键部署步骤第一步获取项目文件git clone https://gitcode.com/hf_mirrors/ai-gitcode/roberta-base-go_emotions第二步安装轻量级推理环境ONNX 路线只需要一个推理引擎pip install onnxruntime不需要安装 PyTorch这一步就能少下载好几个 GB 的依赖。第三步加载模型并运行推理import onnxruntime as ort from transformers import AutoTokenizer # 加载分词器本仓库自带 tokenizer AutoTokenizer.from_pretrained(roberta-base-go_emotions) # 加载 INT8 量化的 ONNX 模型换成 onnx 版文件名同理 session ort.InferenceSession(model_int8.onnx) text [今天真是糟糕的一天] inputs tokenizer(text, paddingTrue, truncationTrue, max_length512, return_tensorsnp) outputs session.run(None, { input_ids: inputs[input_ids], attention_mask: inputs[attention_mask], token_type_ids: inputs.get(token_type_ids, np.zeros_like(inputs[input_ids], dtypeint64)), }) # 28 个概率值按 0.5 阈值筛出命中的情绪 prob outputs[0][0] labels [admiration,amusement,anger,annoyance,approval,caring, confusion,curiosity,desire,disappointment,disapproval, disgust,embarrassment,excitement,fear,gratitude,grief, joy,love,nervousness,optimism,pride,realization, relief,remorse,sadness,surprise,neutral] print([l for l, p in zip(labels, prob) if p 0.5])三步完成整个推理链路不依赖 PyTorch部署到服务器、容器或边缘盒子都很轻量。❓ 常见部署问题 FAQQ1INT8 量化后精度掉多少官方说明量化版本保留了几乎全部的精度almost all the accuracy。对只用于推理的场景这个损失通常可以忽略如果业务对个别情绪标签极其敏感建议先跑一遍 ONNX 未量化版做基线对比。Q2一次能输入多长的文本分词器最大长度为 512 个词元见 tokenizer_config.json 中的 model_max_length。超长文本建议先截断或分段处理。Q30.5 阈值可以调吗可以。README.md 的评估章节显示为每个标签单独优化阈值后整体 F1 可从 0.450 提升到 0.541。如果你的业务只关心抓得全高召回可以把阈值调低一些。Q4小批量和大批量场景下加速一样吗不一样。ONNX 版在小批量1~16 条时加速最明显大批量时 PyTorch 的批处理优势也能发挥但 ONNX 版依然不吃亏且部署依赖更干净。 总结roberta-base-go_emotions 用 28 个概率值描述一段文本的情绪是做多标签情绪识别的现成方案只做推理时优先部署ONNX 版本更快、依赖更少、跨平台追求极致体积与速度时上INT8 量化版模型文件缩小 75%精度几乎无损需要继续训练或实验再使用仓库中的 PyTorch 原始权重按选版本 → 装 onnxruntime → 三步推理的路线走新手也能在几分钟内把这个情绪分类模型跑起来。【免费下载链接】roberta-base-go_emotions项目地址: https://ai.gitcode.com/hf_mirrors/ai-gitcode/roberta-base-go_emotions创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 体积缩小75%、推理更快：roberta-base-go_emotions的ONNX与INT8量化版本部署指南
体积缩小75%、推理更快roberta-base-go_emotions的ONNX与INT8量化版本部署指南【免费下载链接】roberta-base-go_emotions项目地址: https://ai.gitcode.com/hf_mirrors/ai-gitcode/roberta-base-go_emotionsroberta-base-go_emotions 是一个基于 RoBERTa-Base 的文本情绪分类模型可在 go_emotions 数据集上识别 28 种人类情绪。本指南面向新手手把手教你部署它的 ONNX 与 INT8 量化版本模型体积缩小 75%、推理速度更快、依赖更轻且几乎不损失精度。 先认识一下这个情绪分类模型在部署之前花一分钟了解它是什么、由哪些文件组成能帮你少走弯路。训练基础由 roberta-base 在 go_emotions 数据集源自 Reddit 的真实评论数据上微调而来任务类型多标签文本分类 —— 一段话可以同时带有多种情绪输出结果对 28 种情绪各输出一个 0~1 的概率值通常用 0.5 作为阈值判断是否命中28 种情绪标签包括admiration钦佩、amusement逗乐、anger愤怒、annoyance烦躁、approval赞同、caring关心、confusion困惑、curiosity好奇、desire渴望、disappointment失望、disapproval不认可、disgust厌恶、embarrassment尴尬、excitement兴奋、fear恐惧、gratitude感激、grief悲伤、joy喜悦、love爱、nervousness紧张、optimism乐观、pride自豪、realization领悟、relief释然、remorse懊悔、sadness难过、surprise惊讶、neutral中性。这些标签定义可查看 config.json。仓库文件一览文件作用config.json模型结构配置12 层 Transformer、隐藏层 768、28 个情绪标签映射tokenizer.json / vocab.json / merges.txt分词器三件套负责把文本切成模型能读的词元special_tokens_map.json / tokenizer_config.json特殊符号与分词参数最大长度 512model.safetensors / pytorch_model.binPyTorch 原始权重float32 精度trainer_state.json训练日志共训练 3 个 epoch最终评估 F1 约 0.586README.md官方说明数据集介绍、评估指标与使用方法 小知识从 trainer_state.json 可以看到模型第 1~3 轮的评估 F1 从 0.535 稳步提升到 0.586说明训练充分、效果稳定。⚡ 为什么要用 ONNX 与 INT8 量化版本直接使用 PyTorch 原始权重当然没问题但官方同时提供了ONNX 格式版本包含INT8 量化 ONNX 版本对生产部署来说优势非常明显推理更快—— 尤其是小批量比如一次只判断一两句话的场景加速效果最明显体积暴降 75%—— INT8 量化把权重从 32 位浮点压缩到 8 位整数下载、存储、加载成本大幅降低依赖大幅精简—— 只需安装 onnxruntime 一个推理引擎不必拖上整个 PyTorch跨平台能力强—— 同一份 ONNX 模型可以在 CPU、GPU、NPU 甚至移动端上运行三个版本怎么选版本文件体积推理速度精度表现适用场景PyTorch 原版大float32基准完整需要继续训练、做实验ONNX 版与原版相当更快基本无损追求速度、跨平台部署INT8 量化 ONNX 版缩小 75%最快几乎无损边缘设备、高并发、带宽受限一句话原则只做推理 → 选 ONNX追求极致体积与速度 → 选 INT8 量化版还要训练 → 留 PyTorch 原版。 ONNX 量化版本一键部署步骤第一步获取项目文件git clone https://gitcode.com/hf_mirrors/ai-gitcode/roberta-base-go_emotions第二步安装轻量级推理环境ONNX 路线只需要一个推理引擎pip install onnxruntime不需要安装 PyTorch这一步就能少下载好几个 GB 的依赖。第三步加载模型并运行推理import onnxruntime as ort from transformers import AutoTokenizer # 加载分词器本仓库自带 tokenizer AutoTokenizer.from_pretrained(roberta-base-go_emotions) # 加载 INT8 量化的 ONNX 模型换成 onnx 版文件名同理 session ort.InferenceSession(model_int8.onnx) text [今天真是糟糕的一天] inputs tokenizer(text, paddingTrue, truncationTrue, max_length512, return_tensorsnp) outputs session.run(None, { input_ids: inputs[input_ids], attention_mask: inputs[attention_mask], token_type_ids: inputs.get(token_type_ids, np.zeros_like(inputs[input_ids], dtypeint64)), }) # 28 个概率值按 0.5 阈值筛出命中的情绪 prob outputs[0][0] labels [admiration,amusement,anger,annoyance,approval,caring, confusion,curiosity,desire,disappointment,disapproval, disgust,embarrassment,excitement,fear,gratitude,grief, joy,love,nervousness,optimism,pride,realization, relief,remorse,sadness,surprise,neutral] print([l for l, p in zip(labels, prob) if p 0.5])三步完成整个推理链路不依赖 PyTorch部署到服务器、容器或边缘盒子都很轻量。❓ 常见部署问题 FAQQ1INT8 量化后精度掉多少官方说明量化版本保留了几乎全部的精度almost all the accuracy。对只用于推理的场景这个损失通常可以忽略如果业务对个别情绪标签极其敏感建议先跑一遍 ONNX 未量化版做基线对比。Q2一次能输入多长的文本分词器最大长度为 512 个词元见 tokenizer_config.json 中的 model_max_length。超长文本建议先截断或分段处理。Q30.5 阈值可以调吗可以。README.md 的评估章节显示为每个标签单独优化阈值后整体 F1 可从 0.450 提升到 0.541。如果你的业务只关心抓得全高召回可以把阈值调低一些。Q4小批量和大批量场景下加速一样吗不一样。ONNX 版在小批量1~16 条时加速最明显大批量时 PyTorch 的批处理优势也能发挥但 ONNX 版依然不吃亏且部署依赖更干净。 总结roberta-base-go_emotions 用 28 个概率值描述一段文本的情绪是做多标签情绪识别的现成方案只做推理时优先部署ONNX 版本更快、依赖更少、跨平台追求极致体积与速度时上INT8 量化版模型文件缩小 75%精度几乎无损需要继续训练或实验再使用仓库中的 PyTorch 原始权重按选版本 → 装 onnxruntime → 三步推理的路线走新手也能在几分钟内把这个情绪分类模型跑起来。【免费下载链接】roberta-base-go_emotions项目地址: https://ai.gitcode.com/hf_mirrors/ai-gitcode/roberta-base-go_emotions创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考