从0到1跑通text-generation-webui新手文本生成本地部署完整指南【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgentext-generation-webui 是一个基于Gradio的大语言模型 Web 界面你不用写一行代码就能在本机加载模型、聊天、写长文。它解决的正是本地跑大模型门槛太高这个问题适合想体验文本生成功能、又没有编程基础的新手。 项目速览30秒看懂它能干什么界面走 Gradio 网页浏览器打开即用100% 本地运行、数据不出机器模型格式通吃transformers、GPTQ/AWQ、GGUF、EXL2一个后端切多种格式内置聊天、笔记本、默认三种生成模式外加语音合成、图像生成等扩展位支持LoRA轻量训练模型可以自己养 最短路径跑起来5步看到第一段生成结果拿到代码运行git clone https://gitcode.com/GitHub_Trending/te/text-generation-webui进入项目目录。一键安装并启动按你的系统执行对应脚本——Linux 跑./start_linux.shWindows 跑start_windows.batmacOS 跑./start_macos.sh。脚本会自动装好 Conda 环境和全部依赖中途提示时选择你的 GPU 厂商即可。进入界面安装完成后脚本会打印地址浏览器打开http://127.0.0.1:7860就是主界面。以后每次启动直接再跑一遍同一个start_脚本就行。放一个模型把模型文件丢进user_data/models目录界面会自动检测到它多文件模型如 transformers 格式放进一个子文件夹再整体放入。加载并生成在Model选项卡点 Load切到Chat选项卡发一句话——恭喜第一个生成结果出来了。如果你习惯容器化部署项目在 docker/ 目录下备好了nvidia、amd、intel、cpu四套 Dockerfile 和 docker-compose 配置把对应目录的文件链到根目录、编辑.env后执行docker compose up --build即可。 上手后的三个场景日常对话这是默认打开的 Chat 选项卡。挑一个角色、直接发消息回复逐字流式输出支持编辑历史消息和分叉对话体验和线上一致只是模型跑在你自己机器上。长文写作与编辑切到Notebook选项卡它不是回合制聊天而是一块纯文本工作台适合写长文档、整理草稿文本会自动保存关掉重开不丢内容。逻辑实现在 modules/ui_notebook.py。自定义角色打开 user_data/characters/ 里现成的Example.yaml改三处name角色名、greeting开场白、context人设描述保存后角色就会出现在 Chat 的角色选择框里对话风格立刻换成你写的人设。️ 把效果调顺先选对规模再拧两个旋钮先按硬件定模型规模再调参数你的硬件建议显卡显存紧张7B 级量化模型起步配 4-bit 量化省显存显存宽裕上13B质量与速度平衡70B级别需要大显存或多卡先估算显存再上两个最关键的参数在Parameters选项卡逻辑见 modules/ui_parameters.pytemperature范围 0.01–5创意写作给0.7–1.0要事实准确给0.1–0.3top_p范围 0–1常用默认值0.95参考 user_data/presets/Top-P.yaml数值越低输出越保守改完不用重启点 Generate 立即生效。调参满意后存成 preset下次一键加载。 解锁更多玩法语音合成extensions/silero_tts/ 把回复读出来extensions/coqui_tts/ 提供更多音色选择图像生成extensions/sd_api_pictures/ 接入 Stable Diffusion 接口对话时能配插图文档检索extensions/superboogav2/ 给模型挂上本地文档库让它基于你的资料回答装扩展就是把自己做的或下载的扩展文件夹放进user_data/extensions再用启动参数--extensions 扩展名加载。 踩坑急救四步定位 90% 的问题Python 版本对不上确认是 Python 3.9最稳的做法是用一键脚本自带的 Conda 环境别混用系统 Python。依赖装不全重跑安装脚本或按硬件选对 requirements 文件如 CPU 用户选requirements/full/requirements_cpu_only.txt再执行pip install -r 对应文件 --upgrade补装。看日志定位终端报错往回翻几行找到第一个 TracebackDocker 用户执行docker compose logs看容器日志。校验模型文件到Model选项卡看模型是否被列出多文件模型确认config.json和各分片文件齐全、大小正常损坏或下了一半的文件是加载失败的头号原因。硬件选型也顺带说一句有 NVIDIA 显卡直接走 CUDA 全速跑纯 CPU 机器建议选GGUF 格式走 llama.cpp 后端配合 4-bit/8-bit 量化内存占用能压到最低。text-generation-webui 把本地跑大模型从命令行工程变成了浏览器操作装好、丢模型、发一句话三段式闭环。剩下的就是挑个模型开始聊了。【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 从0到1跑通text-generation-webui：新手文本生成本地部署完整指南
从0到1跑通text-generation-webui新手文本生成本地部署完整指南【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgentext-generation-webui 是一个基于Gradio的大语言模型 Web 界面你不用写一行代码就能在本机加载模型、聊天、写长文。它解决的正是本地跑大模型门槛太高这个问题适合想体验文本生成功能、又没有编程基础的新手。 项目速览30秒看懂它能干什么界面走 Gradio 网页浏览器打开即用100% 本地运行、数据不出机器模型格式通吃transformers、GPTQ/AWQ、GGUF、EXL2一个后端切多种格式内置聊天、笔记本、默认三种生成模式外加语音合成、图像生成等扩展位支持LoRA轻量训练模型可以自己养 最短路径跑起来5步看到第一段生成结果拿到代码运行git clone https://gitcode.com/GitHub_Trending/te/text-generation-webui进入项目目录。一键安装并启动按你的系统执行对应脚本——Linux 跑./start_linux.shWindows 跑start_windows.batmacOS 跑./start_macos.sh。脚本会自动装好 Conda 环境和全部依赖中途提示时选择你的 GPU 厂商即可。进入界面安装完成后脚本会打印地址浏览器打开http://127.0.0.1:7860就是主界面。以后每次启动直接再跑一遍同一个start_脚本就行。放一个模型把模型文件丢进user_data/models目录界面会自动检测到它多文件模型如 transformers 格式放进一个子文件夹再整体放入。加载并生成在Model选项卡点 Load切到Chat选项卡发一句话——恭喜第一个生成结果出来了。如果你习惯容器化部署项目在 docker/ 目录下备好了nvidia、amd、intel、cpu四套 Dockerfile 和 docker-compose 配置把对应目录的文件链到根目录、编辑.env后执行docker compose up --build即可。 上手后的三个场景日常对话这是默认打开的 Chat 选项卡。挑一个角色、直接发消息回复逐字流式输出支持编辑历史消息和分叉对话体验和线上一致只是模型跑在你自己机器上。长文写作与编辑切到Notebook选项卡它不是回合制聊天而是一块纯文本工作台适合写长文档、整理草稿文本会自动保存关掉重开不丢内容。逻辑实现在 modules/ui_notebook.py。自定义角色打开 user_data/characters/ 里现成的Example.yaml改三处name角色名、greeting开场白、context人设描述保存后角色就会出现在 Chat 的角色选择框里对话风格立刻换成你写的人设。️ 把效果调顺先选对规模再拧两个旋钮先按硬件定模型规模再调参数你的硬件建议显卡显存紧张7B 级量化模型起步配 4-bit 量化省显存显存宽裕上13B质量与速度平衡70B级别需要大显存或多卡先估算显存再上两个最关键的参数在Parameters选项卡逻辑见 modules/ui_parameters.pytemperature范围 0.01–5创意写作给0.7–1.0要事实准确给0.1–0.3top_p范围 0–1常用默认值0.95参考 user_data/presets/Top-P.yaml数值越低输出越保守改完不用重启点 Generate 立即生效。调参满意后存成 preset下次一键加载。 解锁更多玩法语音合成extensions/silero_tts/ 把回复读出来extensions/coqui_tts/ 提供更多音色选择图像生成extensions/sd_api_pictures/ 接入 Stable Diffusion 接口对话时能配插图文档检索extensions/superboogav2/ 给模型挂上本地文档库让它基于你的资料回答装扩展就是把自己做的或下载的扩展文件夹放进user_data/extensions再用启动参数--extensions 扩展名加载。 踩坑急救四步定位 90% 的问题Python 版本对不上确认是 Python 3.9最稳的做法是用一键脚本自带的 Conda 环境别混用系统 Python。依赖装不全重跑安装脚本或按硬件选对 requirements 文件如 CPU 用户选requirements/full/requirements_cpu_only.txt再执行pip install -r 对应文件 --upgrade补装。看日志定位终端报错往回翻几行找到第一个 TracebackDocker 用户执行docker compose logs看容器日志。校验模型文件到Model选项卡看模型是否被列出多文件模型确认config.json和各分片文件齐全、大小正常损坏或下了一半的文件是加载失败的头号原因。硬件选型也顺带说一句有 NVIDIA 显卡直接走 CUDA 全速跑纯 CPU 机器建议选GGUF 格式走 llama.cpp 后端配合 4-bit/8-bit 量化内存占用能压到最低。text-generation-webui 把本地跑大模型从命令行工程变成了浏览器操作装好、丢模型、发一句话三段式闭环。剩下的就是挑个模型开始聊了。【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考