5分钟跑通text-generation-webui本地大模型极简部署【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen你的机器只有 8G 显存却想私有化地跑一个本地大模型还要能接 API。text-generation-webui 是一款开源的本地 LLM 部署应用文本对话、视觉理解、工具调用都支持还带 OpenAI/Anthropic 兼容的 API数据全程不出你的机器。下面这几分钟我们把整套流程跑通。选对你的路 装错依赖是最常见的坑而依赖该装哪一套看你的硬件就行。项目把依赖按硬件拆好了都在 requirements/full/ 目录下对照这张表定位你的方案你的硬件推荐路径对应依赖文件NVIDIA 显卡一键启动脚本CUDA 加速requirements/full/requirements.txtAMD 显卡一键启动脚本ROCmrequirements/full/requirements_amd.txtApple M 系列芯片一键启动脚本Metalrequirements/full/requirements_apple_silicon.txt纯 CPU一键启动脚本requirements/full/requirements_cpu_only.txt多项目 / 服务器部署Docker 容器化部署docker/拿不准就用 Dockerdocker/ 目录里 nvidia、amd、cpu、intel 都有现成配置系统环境一点不碰。三步跑起来 路线定下来后面其实就三步装、配、启。装先把代码拉到本地就这两行git clone https://gitcode.com/GitHub_Trending/te/textgen cd textgen放心启动脚本自带环境隔离——它会自动下载 Miniforge、在项目目录里建一个独立的 Python 环境你系统里已有的 Python 全家桶基本不会被碰。配接下来给自己定制启动参数。打开 user_data/CMD_FLAGS.txt把你希望每次启动都生效的参数写进去每行一个比如--auto-launch --listen --api三个参数分别的意思--auto-launch启动后自动打开浏览器--listen让局域网里别的设备也能访问--api把 OpenAI 兼容的 API 服务打开。text-generation-webui 会把这个文件当成持久化的参数配置写一次以后就不用再敲了。启Linux 上把这行贴进终端./start_linux.sh第一次跑要装依赖耐心等它走完然后浏览器会自己弹出 http://localhost:7860。Windows 用户直接双击 start_windows.batmacOS 用户跑 start_macos.sh效果一样。调出你的风格 ⚙️模型加载好之后如果输出太稳或者老是车轱辘话八成是参数问题。Parameters 页的参数你不用全背先把这 5 个调明白就够用了参数它控制什么起步推荐值max_new_tokens一次最多输出多少 token512temperature输出的随机程度0 是纯确定性0.7top_p候选词池的宽窄0.9repetition_penalty重复惩罚1 表示不惩罚1.1Truncate the prompt up to this length提示词截断上限也相当于显存护栏保持加载模型后的自动值打个比方temperature 是创意旋钮拧得越低输出越一本正经top_p 管的是模型敢不敢即兴越低越保守。max_new_tokens 别贪大它挤占的上下文预算会反过来截断你的提示词。懒得自己调的话同一页的预设菜单里有社区票选出来的组合一键切换每个参数的详细解释在 docs/03 - Parameters Tab.md。按需解锁 如果你要在同一台机器上并行几个项目或者往服务器上部署、不想污染宿主机Docker 容器化部署就是最省心的选择。docker/ 目录为 nvidia、amd、cpu、intel 各硬件都备好了 Dockerfile 和 compose 文件。以 NVIDIA 为例cd textgen docker compose -f docker/nvidia/docker-compose.yml up --build首次构建要等一会儿相当于把整套环境打包进镜像之后再拉起来就是秒级。如果它提示缺少 .env 文件先按 docs/09 - Docker.md 的说明准备一下。量化省显存、模型训练、外挂扩展这些高级玩法docs/ 目录里各有一篇用到时再翻。卡住了看这里 症状一句话解法相关文件加载模型报 CUDA out of memory加--load-in-8bit或--load-in-4bit量化加载体积减半、精度微损user_data/CMD_FLAGS.txt局域网其他设备访问不了加--listen顺手检查一下端口和防火墙user_data/CMD_FLAGS.txt依赖装不进去、版本互相打架换 Docker 部署环境隔离一步到位docker/生成速度不满意调小 max_new_tokens或换个预设 / 更小的模型user_data/presets/把下载好的模型加载、点一下生成吧。跑通之后翻一翻 user_data/presets/换个生成预设试试新风格。【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 5分钟跑通：text-generation-webui本地大模型极简部署
5分钟跑通text-generation-webui本地大模型极简部署【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen你的机器只有 8G 显存却想私有化地跑一个本地大模型还要能接 API。text-generation-webui 是一款开源的本地 LLM 部署应用文本对话、视觉理解、工具调用都支持还带 OpenAI/Anthropic 兼容的 API数据全程不出你的机器。下面这几分钟我们把整套流程跑通。选对你的路 装错依赖是最常见的坑而依赖该装哪一套看你的硬件就行。项目把依赖按硬件拆好了都在 requirements/full/ 目录下对照这张表定位你的方案你的硬件推荐路径对应依赖文件NVIDIA 显卡一键启动脚本CUDA 加速requirements/full/requirements.txtAMD 显卡一键启动脚本ROCmrequirements/full/requirements_amd.txtApple M 系列芯片一键启动脚本Metalrequirements/full/requirements_apple_silicon.txt纯 CPU一键启动脚本requirements/full/requirements_cpu_only.txt多项目 / 服务器部署Docker 容器化部署docker/拿不准就用 Dockerdocker/ 目录里 nvidia、amd、cpu、intel 都有现成配置系统环境一点不碰。三步跑起来 路线定下来后面其实就三步装、配、启。装先把代码拉到本地就这两行git clone https://gitcode.com/GitHub_Trending/te/textgen cd textgen放心启动脚本自带环境隔离——它会自动下载 Miniforge、在项目目录里建一个独立的 Python 环境你系统里已有的 Python 全家桶基本不会被碰。配接下来给自己定制启动参数。打开 user_data/CMD_FLAGS.txt把你希望每次启动都生效的参数写进去每行一个比如--auto-launch --listen --api三个参数分别的意思--auto-launch启动后自动打开浏览器--listen让局域网里别的设备也能访问--api把 OpenAI 兼容的 API 服务打开。text-generation-webui 会把这个文件当成持久化的参数配置写一次以后就不用再敲了。启Linux 上把这行贴进终端./start_linux.sh第一次跑要装依赖耐心等它走完然后浏览器会自己弹出 http://localhost:7860。Windows 用户直接双击 start_windows.batmacOS 用户跑 start_macos.sh效果一样。调出你的风格 ⚙️模型加载好之后如果输出太稳或者老是车轱辘话八成是参数问题。Parameters 页的参数你不用全背先把这 5 个调明白就够用了参数它控制什么起步推荐值max_new_tokens一次最多输出多少 token512temperature输出的随机程度0 是纯确定性0.7top_p候选词池的宽窄0.9repetition_penalty重复惩罚1 表示不惩罚1.1Truncate the prompt up to this length提示词截断上限也相当于显存护栏保持加载模型后的自动值打个比方temperature 是创意旋钮拧得越低输出越一本正经top_p 管的是模型敢不敢即兴越低越保守。max_new_tokens 别贪大它挤占的上下文预算会反过来截断你的提示词。懒得自己调的话同一页的预设菜单里有社区票选出来的组合一键切换每个参数的详细解释在 docs/03 - Parameters Tab.md。按需解锁 如果你要在同一台机器上并行几个项目或者往服务器上部署、不想污染宿主机Docker 容器化部署就是最省心的选择。docker/ 目录为 nvidia、amd、cpu、intel 各硬件都备好了 Dockerfile 和 compose 文件。以 NVIDIA 为例cd textgen docker compose -f docker/nvidia/docker-compose.yml up --build首次构建要等一会儿相当于把整套环境打包进镜像之后再拉起来就是秒级。如果它提示缺少 .env 文件先按 docs/09 - Docker.md 的说明准备一下。量化省显存、模型训练、外挂扩展这些高级玩法docs/ 目录里各有一篇用到时再翻。卡住了看这里 症状一句话解法相关文件加载模型报 CUDA out of memory加--load-in-8bit或--load-in-4bit量化加载体积减半、精度微损user_data/CMD_FLAGS.txt局域网其他设备访问不了加--listen顺手检查一下端口和防火墙user_data/CMD_FLAGS.txt依赖装不进去、版本互相打架换 Docker 部署环境隔离一步到位docker/生成速度不满意调小 max_new_tokens或换个预设 / 更小的模型user_data/presets/把下载好的模型加载、点一下生成吧。跑通之后翻一翻 user_data/presets/换个生成预设试试新风格。【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考