koboldcpp 手机端部署实战三步在 Android 上跑通本地 GGUF 大模型【免费下载链接】koboldcppRun GGUF models easily with a KoboldAI UI. One File. Zero Install.项目地址: https://gitcode.com/gh_mirrors/ko/koboldcpp想不联网、不花云服务费就在 Android 手机上本地运行大模型koboldcpp 是一款以单文件、零安装为设计理念的开源本地 AI 推理框架基于 llama.cpp 深度定制能流畅运行 GGUF 格式的量化模型并自带 KoboldAI 风格的网页对话界面让你的手机秒变随身 AI 助手。先想象一个场景地铁上没有信号、笔记本不在身边而你恰好需要问模型几个问题。云端 API 要么按 token 收费要么得把内容上传服务器公共 Wi-Fi 又不安全。这时一台装着 koboldcpp 的手机就是答案——模型文件躺在本地存储里推理在本地 CPU 上完成隐私与速度都握在自己手里。本文用闯关的方式带你走完全程第一关准备环境第二关安装编译第三关加载模型完成首次对话再附赠性能调优、报错自救和进阶玩法。全部操作都在 Termux 终端里完成跟着敲就行。一台手机凭什么顶一台服务器先看懂 koboldcpp 的底牌koboldcpp 的项目定位很朴素让 GGUF 模型跑起来很简单。它把复杂的推理引擎、HTTP 服务、网页界面打包成一个整体你在手机或电脑上只需一条命令就能启动服务然后在浏览器里聊天。它的核心能力集中在以下几点能力说明文本生成支持几乎全部 GGUF 模型架构并向后兼容老式 GGML 格式网页界面内置 KoboldAI Lite支持角色卡、世界设定、记忆、作者注记多种接口同时提供 KoboldCPP API、OpenAI 兼容接口/v1方便二次开发多模态扩展可挂载视觉投影模型做图像理解支持 TTS 语音合成与音色克隆跨平台提供 Windows/macOS/Linux 预编译包也支持在 AndroidTermux、树莓派等平台自行编译与把模型放在云端的方案相比手机本地推理的取舍一目了然对比维度云端 API手机本地 koboldcpp隐私数据需上传第三方服务器数据完全留在本地网络必须联网完全离线可用费用按 token 或时长计费一次性下载模型零使用成本性能上限取决于云端 GPU取决于手机 CPU 与内存上手门槛注册账号、配置密钥一个终端、一条命令对新手来说手机端的最大门槛不是代码而是模型体积与内存——所以后面选模型时请记住量化两个字把动辄几十 GB 的原始权重压缩到几 GB同时保住大部分质量这正是 GGUF 和 Q4_K_M 这类量化格式存在的意义。第一关把手机改造成 Linux 终端Termux 环境准备Termux 是 Android 上的 Linux 终端模拟器koboldcpp 在手机上的编译与运行都依赖它。请从 F-Droid 应用商店下载 Termux不要用 Google Play 商店里的旧版本那版早已停止维护。安装完成后打开 Termux先更新软件源并安装基础工具# 更新包管理器与所有软件包 pkg update pkg upgrade -y # 安装后续要用的工具wget 下载、git 拉取仓库、python 启动服务、clang/make 编译 pkg install -y wget git python clang make如果你的手机是 Android 11 及以上还需要给 Termux 授予存储访问权限否则程序读不到下载到下载目录里的模型文件termux-setup-storage执行后系统会弹出授权窗口选择允许即可。至此第一关完成手机已经具备编译和运行 AI 程序的基本条件。小提示如果pkg下载速度很慢可以运行termux-change-repo在交互界面里切换到速度更快的镜像源很多安装报错都是换源后解决的。动手之前先对照一下你的设备配置免得白跑一趟配置项最低要求建议配置Android 版本8.011处理器ARM64 架构支持 NEON 指令集内存4GB6GB 以上存储空间4GB 空闲8GB 以上第二关两种方式装好 koboldcpp任选其一koboldcpp 在手机上安装有两条路一键脚本适合新手手动编译适合想掌控每一步的玩家。两者最终得到的东西一样只差几条命令。方式 A一键脚本全程自动项目仓库根目录下自带android_install.sh它会自动检测依赖、克隆仓库、编译核心库并根据你的选择下载或加载模型。先克隆仓库再运行脚本git clone https://gitcode.com/gh_mirrors/ko/koboldcpp cd koboldcpp ./android_install.sh脚本运行后会出现 5 个选项各对应一种使用场景选项行为适合谁1安装并自动下载默认模型 Gemma3-1B 后直接启动零基础新手想最快看到效果2只安装程序不下载任何模型已有模型、想自己掌控的人3输入一个 GGUF 文件的 URL边下载边运行明确知道自己要哪个模型4扫描当前目录下的 .gguf 文件并加载已把模型文件放进手机的人5退出脚本手滑选错时救场用的选 1 的话脚本会自动执行make -j 2编译核心组件用 2 线程编译是为了避免手机过热完成后会生成koboldcpp_default.so共享库并自动下载约 1.5GB 的 Gemma3-1B 模型、启动服务。方式 B手动编译把每一步握在手里如果你已经用方式 A 装好了可以直接跳到第三关想亲手编译的话手动流程只有三条命令# 进入仓库目录 cd koboldcpp # 编译核心动态库-j 2 表示用 2 个线程并行编译 make -j 2 # 加载模型并启动服务模型路径请换成你自己的 python koboldcpp.py --model /storage/emulated/0/Download/你的模型.gguf这里解释一下原理make会把 C/C 推理引擎编译成手机能直接调用的koboldcpp_default.so共享库而koboldcpp.py只是负责加载这个库、解析参数、提供 HTTP 服务的 Python 外壳。所以make一旦成功后续运行就再也不需要编译器了。⚠️注意事项如果make报错提示找不到命令说明编译器没装好回第一关补装clang make即可。编译时内存不足OOM的话先make clean清理缓存再用make -j 1单线程编译慢一点但稳。第三关挑一个合适的模型完成第一次对话GGUF 模型文件不会随 koboldcpp 一起发布需要你自己下载。手机上内存金贵选模型的原则是能跑得动 效果更好。下面几个量级是移动端常见的稳妥选择模型参数量推荐量化文件体积参考适合场景Gemma3-1B10 亿Q4_K_M约 1.5GB新手首选、低配机、快速尝鲜Phi-3-Mini38 亿Q4_K_M约 2.3GB日常问答、轻量写作Mistral-7B70 亿Q4_K_M约 4.5GB需要更强推理能力建议 8GB 内存关于量化 Q4_K_M量化就是把模型权重从 16 位压缩到 4 位存储体积缩到原来的四分之一左右而质量损失在大多数任务上几乎察觉不到。Q4_K_M 是体积与质量的黄金平衡点移动端无脑选它一般没错。下载好 .gguf 文件后放到/storage/emulated/0/Download/方便记忆启动服务只需一条命令cd koboldcpp python koboldcpp.py --model /storage/emulated/0/Download/gemma-3-1b-it-Q4_K_M.gguf看到类似下面的日志说明服务已经起来了INFO: Loading model from /storage/emulated/0/Download/gemma-3-1b-it-Q4_K_M.gguf INFO: KoboldCpp v1.117 ... loaded successfully INFO: Starting Kobold API server on http://0.0.0.0:5001在手机浏览器打开http://localhost:5001就是 koboldcpp 的网页界面。这里内置了完整的 KoboldAI Lite 前端你可以新建故事、切换角色卡、设置世界信息也可以直接用聊天模式跟模型对话。第一次成功收到回复的那一刻恭喜你三步全部通关⚠️注意初次加载模型会有一段等待时间手机越老、模型越大等待越久这是正常的。如果中途报内存不足换更小的模型或往下看调优部分。跑得动更要跑得顺手机端性能调优清单能对话只是及格线想让手机端体验丝滑需要理解一个核心事实上下文窗口是内存的最大消耗者。上下文越长模型要记住的内容越多KV 缓存占用的内存按比例膨胀。下面是手机端最常用的几个调优参数参数作用示例--contextsize设置上下文窗口长度越大越吃内存--contextsize 2048--threads指定 CPU 计算线程数默认按核心数自动判断--threads 4--batchsize批处理大小调小可降低峰值内存--batchsize 64--lowvram低显存模式不把 KV 缓存塞进 GPU内存吃紧时开启--lowvram--noavx2老设备的兼容模式速度换稳定--noavx2--port更换 Web 服务端口默认 5001--port 8080把它们组合起来一个面向 6GB 内存手机的典型启动命令长这样python koboldcpp.py \ --model /storage/emulated/0/Download/模型.gguf \ --contextsize 2048 \ --threads 4 \ --batchsize 64调优时记住两条经验先保内存、再追速度——模型加载都失败的话谈什么每秒几 token 都没意义参数一次只改一个逐个对比生成速度与稳定性才知道是谁的功劳。✅额外技巧--model参数也支持直接传模型文件的 URLkoboldcpp 会自动下载再加载。空间紧张时可以先只下载小模型把流程跑通再换成大模型。高频报错自救手册遇到问题不用慌手机端部署的报错就那么几类大部分自己就能解决。对照下面的表格对号入座现象常见原因解决办法make报内存不足 / 直接中断编译时内存峰值过高make clean后改用make -j 1单线程提示找不到make或clang编译器没装pkg install -y clang make下载模型很慢或反复失败网络或源不稳定termux-change-repo换镜像源或wget -c断点续传启动时报模型文件损坏/无法解析文件下载不完整用file 模型.gguf检查文件类型删除后重新下载localhost:5001打不开端口被占用或服务没起来netstat -tulpn \| grep 5001查占用或用--port 8080换端口生成速度慢到难以忍受模型过大或上下文过长换更小模型/更低量化缩短--contextsize关闭后台应用如果以上都试过还没解决还有一个万能兜底pkg upgrade -y把环境整体升到最新很多疑难杂症其实是旧依赖版本引起的。进阶玩法让 koboldcpp 不再只是聊天机器人通关基础三关后koboldcpp 的潜力才刚刚打开。它不只是命令行里的聊天机器人还能听、能看、能被你的程序调用。语音文本转语音与音色克隆koboldcpp 支持加载独立的 TTS 模型把生成的文字直接朗读出来还能通过语音克隆 JSON复刻指定音色。仓库的examples/outetts/目录下提供了完整的语音克隆脚本voice_cloning.py和多语言音色示例speakers/目录下的en_male_1.json、zh_female_1.json等。启动时用--ttsmodel指定 TTS 模型、用--ttsdir指定音色目录python koboldcpp.py \ --model 对话模型.gguf \ --ttsmodel /路径/tts模型.gguf \ --ttsdir examples/outetts/speakers在网页界面的 TTS 面板里选择 Apply Voice Clone JSON 就能粘贴音色配置视觉多模态图像理解给文本模型挂上对应的多模态投影文件--mmproj它就能看图说话了。启动命令只需多加一个参数python koboldcpp.py --model 模型.gguf --mmproj /路径/mmproj.gguf项目自带多模态测试程序与测试图片路径在tools/mtmd/。比如下面这张存放在tools/mtmd/test-1.jpeg的经典测试图——1969 年人类登月的《纽约时报》历史版面模型需要读懂大标题、副标题甚至照片说明接口把模型能力嵌入你自己的应用koboldcpp 的核心竞争力之一是接口丰富。它同时提供 KoboldCPP 原生 API 与 OpenAI 兼容的/v1接口这意味着你用过的 OpenAI 客户端、插件改个地址就能连到手机上的模型。用 Python 调用原生生成接口只需几行import requests resp requests.post( http://localhost:5001/api/v1/generate, json{ prompt: 用一句话介绍你自己, max_length: 200, }, ) print(resp.json()[results][0][text])此外仓库的kcpp_adapters/目录里放着各类模型的对话格式适配器如Llama-3.json、ChatML.json遇到模型输出格式怪异时换一个匹配的适配器往往立竿见影。写在最后回顾一下这趟手机端部署之旅其实只做了三件事装 Termux、编译 koboldcpp、加载一个量化模型。三步之后你就拥有了一个完全离线、零费用、随时可用的本地 AI 助手而且它还有 TTS 语音、图像理解、API 接口这些待挖掘的隐藏技能。下一步你可以这样进阶先用 Gemma3-1B 这类小模型把流程吃透再按自己手机的内存上限逐步挑战更大的模型在--help里翻一翻全部参数你会发现更多值得实验的开关。本地推理的门槛已经被 koboldcpp 压到很低剩下的就看你想让手机里的模型替你做什么了。【免费下载链接】koboldcppRun GGUF models easily with a KoboldAI UI. One File. Zero Install.项目地址: https://gitcode.com/gh_mirrors/ko/koboldcpp创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 koboldcpp 手机端部署实战：三步在 Android 上跑通本地 GGUF 大模型
koboldcpp 手机端部署实战三步在 Android 上跑通本地 GGUF 大模型【免费下载链接】koboldcppRun GGUF models easily with a KoboldAI UI. One File. Zero Install.项目地址: https://gitcode.com/gh_mirrors/ko/koboldcpp想不联网、不花云服务费就在 Android 手机上本地运行大模型koboldcpp 是一款以单文件、零安装为设计理念的开源本地 AI 推理框架基于 llama.cpp 深度定制能流畅运行 GGUF 格式的量化模型并自带 KoboldAI 风格的网页对话界面让你的手机秒变随身 AI 助手。先想象一个场景地铁上没有信号、笔记本不在身边而你恰好需要问模型几个问题。云端 API 要么按 token 收费要么得把内容上传服务器公共 Wi-Fi 又不安全。这时一台装着 koboldcpp 的手机就是答案——模型文件躺在本地存储里推理在本地 CPU 上完成隐私与速度都握在自己手里。本文用闯关的方式带你走完全程第一关准备环境第二关安装编译第三关加载模型完成首次对话再附赠性能调优、报错自救和进阶玩法。全部操作都在 Termux 终端里完成跟着敲就行。一台手机凭什么顶一台服务器先看懂 koboldcpp 的底牌koboldcpp 的项目定位很朴素让 GGUF 模型跑起来很简单。它把复杂的推理引擎、HTTP 服务、网页界面打包成一个整体你在手机或电脑上只需一条命令就能启动服务然后在浏览器里聊天。它的核心能力集中在以下几点能力说明文本生成支持几乎全部 GGUF 模型架构并向后兼容老式 GGML 格式网页界面内置 KoboldAI Lite支持角色卡、世界设定、记忆、作者注记多种接口同时提供 KoboldCPP API、OpenAI 兼容接口/v1方便二次开发多模态扩展可挂载视觉投影模型做图像理解支持 TTS 语音合成与音色克隆跨平台提供 Windows/macOS/Linux 预编译包也支持在 AndroidTermux、树莓派等平台自行编译与把模型放在云端的方案相比手机本地推理的取舍一目了然对比维度云端 API手机本地 koboldcpp隐私数据需上传第三方服务器数据完全留在本地网络必须联网完全离线可用费用按 token 或时长计费一次性下载模型零使用成本性能上限取决于云端 GPU取决于手机 CPU 与内存上手门槛注册账号、配置密钥一个终端、一条命令对新手来说手机端的最大门槛不是代码而是模型体积与内存——所以后面选模型时请记住量化两个字把动辄几十 GB 的原始权重压缩到几 GB同时保住大部分质量这正是 GGUF 和 Q4_K_M 这类量化格式存在的意义。第一关把手机改造成 Linux 终端Termux 环境准备Termux 是 Android 上的 Linux 终端模拟器koboldcpp 在手机上的编译与运行都依赖它。请从 F-Droid 应用商店下载 Termux不要用 Google Play 商店里的旧版本那版早已停止维护。安装完成后打开 Termux先更新软件源并安装基础工具# 更新包管理器与所有软件包 pkg update pkg upgrade -y # 安装后续要用的工具wget 下载、git 拉取仓库、python 启动服务、clang/make 编译 pkg install -y wget git python clang make如果你的手机是 Android 11 及以上还需要给 Termux 授予存储访问权限否则程序读不到下载到下载目录里的模型文件termux-setup-storage执行后系统会弹出授权窗口选择允许即可。至此第一关完成手机已经具备编译和运行 AI 程序的基本条件。小提示如果pkg下载速度很慢可以运行termux-change-repo在交互界面里切换到速度更快的镜像源很多安装报错都是换源后解决的。动手之前先对照一下你的设备配置免得白跑一趟配置项最低要求建议配置Android 版本8.011处理器ARM64 架构支持 NEON 指令集内存4GB6GB 以上存储空间4GB 空闲8GB 以上第二关两种方式装好 koboldcpp任选其一koboldcpp 在手机上安装有两条路一键脚本适合新手手动编译适合想掌控每一步的玩家。两者最终得到的东西一样只差几条命令。方式 A一键脚本全程自动项目仓库根目录下自带android_install.sh它会自动检测依赖、克隆仓库、编译核心库并根据你的选择下载或加载模型。先克隆仓库再运行脚本git clone https://gitcode.com/gh_mirrors/ko/koboldcpp cd koboldcpp ./android_install.sh脚本运行后会出现 5 个选项各对应一种使用场景选项行为适合谁1安装并自动下载默认模型 Gemma3-1B 后直接启动零基础新手想最快看到效果2只安装程序不下载任何模型已有模型、想自己掌控的人3输入一个 GGUF 文件的 URL边下载边运行明确知道自己要哪个模型4扫描当前目录下的 .gguf 文件并加载已把模型文件放进手机的人5退出脚本手滑选错时救场用的选 1 的话脚本会自动执行make -j 2编译核心组件用 2 线程编译是为了避免手机过热完成后会生成koboldcpp_default.so共享库并自动下载约 1.5GB 的 Gemma3-1B 模型、启动服务。方式 B手动编译把每一步握在手里如果你已经用方式 A 装好了可以直接跳到第三关想亲手编译的话手动流程只有三条命令# 进入仓库目录 cd koboldcpp # 编译核心动态库-j 2 表示用 2 个线程并行编译 make -j 2 # 加载模型并启动服务模型路径请换成你自己的 python koboldcpp.py --model /storage/emulated/0/Download/你的模型.gguf这里解释一下原理make会把 C/C 推理引擎编译成手机能直接调用的koboldcpp_default.so共享库而koboldcpp.py只是负责加载这个库、解析参数、提供 HTTP 服务的 Python 外壳。所以make一旦成功后续运行就再也不需要编译器了。⚠️注意事项如果make报错提示找不到命令说明编译器没装好回第一关补装clang make即可。编译时内存不足OOM的话先make clean清理缓存再用make -j 1单线程编译慢一点但稳。第三关挑一个合适的模型完成第一次对话GGUF 模型文件不会随 koboldcpp 一起发布需要你自己下载。手机上内存金贵选模型的原则是能跑得动 效果更好。下面几个量级是移动端常见的稳妥选择模型参数量推荐量化文件体积参考适合场景Gemma3-1B10 亿Q4_K_M约 1.5GB新手首选、低配机、快速尝鲜Phi-3-Mini38 亿Q4_K_M约 2.3GB日常问答、轻量写作Mistral-7B70 亿Q4_K_M约 4.5GB需要更强推理能力建议 8GB 内存关于量化 Q4_K_M量化就是把模型权重从 16 位压缩到 4 位存储体积缩到原来的四分之一左右而质量损失在大多数任务上几乎察觉不到。Q4_K_M 是体积与质量的黄金平衡点移动端无脑选它一般没错。下载好 .gguf 文件后放到/storage/emulated/0/Download/方便记忆启动服务只需一条命令cd koboldcpp python koboldcpp.py --model /storage/emulated/0/Download/gemma-3-1b-it-Q4_K_M.gguf看到类似下面的日志说明服务已经起来了INFO: Loading model from /storage/emulated/0/Download/gemma-3-1b-it-Q4_K_M.gguf INFO: KoboldCpp v1.117 ... loaded successfully INFO: Starting Kobold API server on http://0.0.0.0:5001在手机浏览器打开http://localhost:5001就是 koboldcpp 的网页界面。这里内置了完整的 KoboldAI Lite 前端你可以新建故事、切换角色卡、设置世界信息也可以直接用聊天模式跟模型对话。第一次成功收到回复的那一刻恭喜你三步全部通关⚠️注意初次加载模型会有一段等待时间手机越老、模型越大等待越久这是正常的。如果中途报内存不足换更小的模型或往下看调优部分。跑得动更要跑得顺手机端性能调优清单能对话只是及格线想让手机端体验丝滑需要理解一个核心事实上下文窗口是内存的最大消耗者。上下文越长模型要记住的内容越多KV 缓存占用的内存按比例膨胀。下面是手机端最常用的几个调优参数参数作用示例--contextsize设置上下文窗口长度越大越吃内存--contextsize 2048--threads指定 CPU 计算线程数默认按核心数自动判断--threads 4--batchsize批处理大小调小可降低峰值内存--batchsize 64--lowvram低显存模式不把 KV 缓存塞进 GPU内存吃紧时开启--lowvram--noavx2老设备的兼容模式速度换稳定--noavx2--port更换 Web 服务端口默认 5001--port 8080把它们组合起来一个面向 6GB 内存手机的典型启动命令长这样python koboldcpp.py \ --model /storage/emulated/0/Download/模型.gguf \ --contextsize 2048 \ --threads 4 \ --batchsize 64调优时记住两条经验先保内存、再追速度——模型加载都失败的话谈什么每秒几 token 都没意义参数一次只改一个逐个对比生成速度与稳定性才知道是谁的功劳。✅额外技巧--model参数也支持直接传模型文件的 URLkoboldcpp 会自动下载再加载。空间紧张时可以先只下载小模型把流程跑通再换成大模型。高频报错自救手册遇到问题不用慌手机端部署的报错就那么几类大部分自己就能解决。对照下面的表格对号入座现象常见原因解决办法make报内存不足 / 直接中断编译时内存峰值过高make clean后改用make -j 1单线程提示找不到make或clang编译器没装pkg install -y clang make下载模型很慢或反复失败网络或源不稳定termux-change-repo换镜像源或wget -c断点续传启动时报模型文件损坏/无法解析文件下载不完整用file 模型.gguf检查文件类型删除后重新下载localhost:5001打不开端口被占用或服务没起来netstat -tulpn \| grep 5001查占用或用--port 8080换端口生成速度慢到难以忍受模型过大或上下文过长换更小模型/更低量化缩短--contextsize关闭后台应用如果以上都试过还没解决还有一个万能兜底pkg upgrade -y把环境整体升到最新很多疑难杂症其实是旧依赖版本引起的。进阶玩法让 koboldcpp 不再只是聊天机器人通关基础三关后koboldcpp 的潜力才刚刚打开。它不只是命令行里的聊天机器人还能听、能看、能被你的程序调用。语音文本转语音与音色克隆koboldcpp 支持加载独立的 TTS 模型把生成的文字直接朗读出来还能通过语音克隆 JSON复刻指定音色。仓库的examples/outetts/目录下提供了完整的语音克隆脚本voice_cloning.py和多语言音色示例speakers/目录下的en_male_1.json、zh_female_1.json等。启动时用--ttsmodel指定 TTS 模型、用--ttsdir指定音色目录python koboldcpp.py \ --model 对话模型.gguf \ --ttsmodel /路径/tts模型.gguf \ --ttsdir examples/outetts/speakers在网页界面的 TTS 面板里选择 Apply Voice Clone JSON 就能粘贴音色配置视觉多模态图像理解给文本模型挂上对应的多模态投影文件--mmproj它就能看图说话了。启动命令只需多加一个参数python koboldcpp.py --model 模型.gguf --mmproj /路径/mmproj.gguf项目自带多模态测试程序与测试图片路径在tools/mtmd/。比如下面这张存放在tools/mtmd/test-1.jpeg的经典测试图——1969 年人类登月的《纽约时报》历史版面模型需要读懂大标题、副标题甚至照片说明接口把模型能力嵌入你自己的应用koboldcpp 的核心竞争力之一是接口丰富。它同时提供 KoboldCPP 原生 API 与 OpenAI 兼容的/v1接口这意味着你用过的 OpenAI 客户端、插件改个地址就能连到手机上的模型。用 Python 调用原生生成接口只需几行import requests resp requests.post( http://localhost:5001/api/v1/generate, json{ prompt: 用一句话介绍你自己, max_length: 200, }, ) print(resp.json()[results][0][text])此外仓库的kcpp_adapters/目录里放着各类模型的对话格式适配器如Llama-3.json、ChatML.json遇到模型输出格式怪异时换一个匹配的适配器往往立竿见影。写在最后回顾一下这趟手机端部署之旅其实只做了三件事装 Termux、编译 koboldcpp、加载一个量化模型。三步之后你就拥有了一个完全离线、零费用、随时可用的本地 AI 助手而且它还有 TTS 语音、图像理解、API 接口这些待挖掘的隐藏技能。下一步你可以这样进阶先用 Gemma3-1B 这类小模型把流程吃透再按自己手机的内存上限逐步挑战更大的模型在--help里翻一翻全部参数你会发现更多值得实验的开关。本地推理的门槛已经被 koboldcpp 压到很低剩下的就看你想让手机里的模型替你做什么了。【免费下载链接】koboldcppRun GGUF models easily with a KoboldAI UI. One File. Zero Install.项目地址: https://gitcode.com/gh_mirrors/ko/koboldcpp创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考