尧图建网站 尧图建网站 YAOTU WEB BUILD 免费咨询
ARTICLE DETAIL

资讯详情

深耕网站建设与建站编程的一线实战洞察。

Streamer-Sales 销冠部署实战:AI 卖货主播大模型从零到完整上线

Streamer-Sales 销冠部署实战:AI 卖货主播大模型从零到完整上线 Streamer-Sales 销冠部署实战AI 卖货主播大模型从零到完整上线【免费下载链接】Streamer-SalesStreamer-Sales 销冠 —— 卖货主播 LLM 大模型一个能够根据给定的商品特点从激发用户购买意愿角度出发进行商品解说的卖货主播大模型。⭐内含详细的数据生成流程❗ 另外还集成了 LMDeploy 加速推理、RAG检索增强生成 、TTS文字转语音、数字人生成 、 Agent 使用网络查询实时信息、ASR 语音转文字️、Vue 生态搭建前端、FastAPI 搭建后端️、Docker-compose 打包部署项目地址: https://gitcode.com/gh_mirrors/st/Streamer-SalesStreamer-Sales 销冠是一款开源 AI 卖货主播大模型能根据商品特点自动生成直播口播文案并串联语音合成、数字人视频、语音识别等能力。本文用一条可照做的实操路线带您从环境准备开始逐步跑通部署、配置、启动与验证遇到报错也能就地解决。先泼三盆冷水新手最容易卡住的三个地方很多朋友第一次部署这类项目栽跟头往往不在命令本身而在三个认知误区以为必须要顶配显卡。其实 24G 显存如 RTX 4090用 4bit 量化模型即可跑通7B 原版模型建议 40G 显存按自己的机器选型即可。以为模型要手动逐个下载。项目启动时通过 ModelScope 自动拉取权重但国内网络下载容易超时建议提前按weights/README.md的清单手动预下载到weights/目录。以为一套命令全部搞定。Docker 方式最省心但只覆盖后端想体验完整的前后台管理界面需要按宿主机方式逐个启动服务。第一步核对环境清单按需选择路线组件最小配置推荐配置显卡RTX 3090 / 24G配 4bit 模型A100 / 40G 以上系统Ubuntu 20.04Ubuntu 20.04依赖Python 3.10、CUDA 11.8另加 Node.js 16、Docker 24部署路线有两种Docker-Compose 一键部署适合快速体验后端能力和宿主机直接部署适合完整前后端 自定义配置。本文以宿主机路线为主线因为它能覆盖从后端到前端的所有功能。第二步拉取代码并安装 Python 依赖# 克隆仓库到本地 git clone https://gitcode.com/gh_mirrors/st/Streamer-Sales cd Streamer-Sales # 用 conda 一键创建环境内置了主要依赖版本 conda env create -f environment.yml conda activate streamer-sales # 再补装 requirements 中的依赖 pip install -r requirements.txt 如果模型下载频繁超时先阅读weights/README.md里面有每个模块LLM、TTS、数字人、ASR、RAG权重的下载地址和存放路径提前放好可大幅缩短首次启动时间。第三步改写关键配置三处必看配置集中在server/web_configs.py几个最常动的参数数据库连接POSTGRES_PASSWORD需要和您本地 PostgreSQL 的密码一致默认库名为streamer_sales_db数据库安装与建库步骤见doc/database/README.md。功能开关ENABLE_RAG、ENABLE_TTS、ENABLE_DIGITAL_HUMAN、ENABLE_ASR对应各模块显存紧张时可关掉 ASR 或数字人。Agent 密钥在启动中台服务前通过环境变量注入快递查询和天气查询的 API Key没有密钥可先跳过不影响其他功能。# 中台服务启动前按需配置 Agent 密钥与数据库密码 export DELIVERY_TIME_API_KEY${快递EBusinessID},${快递api_key} export WEATHER_API_KEY${天气API key} export POSTGRES_PASSWORD您的数据库密码第四步按顺序启动后端服务五个终端每个服务建议单独开一个终端依次执行# 终端 1LLM 推理服务24G 显卡请换成 llm-4bit bash deploy.sh llm # 终端 2TTS 语音合成服务 bash deploy.sh tts # 终端 3数字人视频服务 bash deploy.sh dg # 终端 4ASR 语音识别服务显存不够可跳过 bash deploy.sh asr # 终端 5中台服务依赖前面四个是前端调用的总入口 bash deploy.sh base各服务端口约定中台 8000、TTS 8001、数字人 8002、ASR 8003、LLM 23333。看到类似Uvicorn running on http://0.0.0.0:8000的输出即表示启动成功。第五步启动前端并登录验证# 进入前端目录安装依赖 cd frontend npm install # 启动开发服务默认端口 5173 npm run dev浏览器访问http://localhost:5173您会看到登录页输入项目预置的管理员账号hingwen.wong密码123456见server/base/utils.py的默认数据初始化逻辑。登录成功后您就可以创建直播间并配置主播、上传商品自动生成口播文案、查看实时问答交互与插件状态。文案生成界面效果如下图所示。第六步三个高频报错与解决办法报错 1服务之间 connect fail首次启动需要在线下载模型各服务未就绪时中台会连不上。处理方式先耐心等待权重下载完成再重启中台服务即可恢复。报错 2显存不足 OOMLLM 默认加载 7B 原版模型约需 16G 显存。24G 显卡请改用bash deploy.sh llm-4bit加载 4bit 量化模型还不行就关闭 ASR 或数字人服务。报错 3模型下载频繁超时把weights/README.md中列出的模型按目录结构提前下载放入weights/对应子目录也可以参考 Docker 方式中设置HF_ENDPOINThttps://hf-mirror.com加速 HuggingFace 权重获取。第七步性能与体验调优建议推理加速项目集成 LMDeploy 的 Turbomind 推理配合 KV cache 与 4bit 量化官方基准测试显示推理速度可比原生提升数倍评测脚本见benchmark/get_benchmark_report.py。显存分配多卡机器可在compose.yaml中修改device_ids为不同服务分配不同显卡。定制主播音色替换weights/gpt_sovits_weights/star/下的模型与参考音频并同步修改web_configs.py中TTS_INF_NAME即可让主播说您的声音。收尾您应该看到的成功标志按上述步骤走完您应当已经成功登录管理后台、创建直播间与主播、为商品生成带货文案、让文字转成语音并驱动数字人开口甚至能和主播语音对话。✅想继续深入建议阅读项目内的三份官方文档doc/frontend/README.md前端环境搭建、doc/database/README.md数据库配置、doc/digital_human/README.mdComfyUI 数字人生成以及dataset/、finetune_configs/下的数据生成与微调指南从部署用户进阶为定制开发者。祝您上线顺利【免费下载链接】Streamer-SalesStreamer-Sales 销冠 —— 卖货主播 LLM 大模型一个能够根据给定的商品特点从激发用户购买意愿角度出发进行商品解说的卖货主播大模型。⭐内含详细的数据生成流程❗ 另外还集成了 LMDeploy 加速推理、RAG检索增强生成 、TTS文字转语音、数字人生成 、 Agent 使用网络查询实时信息、ASR 语音转文字️、Vue 生态搭建前端、FastAPI 搭建后端️、Docker-compose 打包部署项目地址: https://gitcode.com/gh_mirrors/st/Streamer-Sales创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表