3分钟跑通 Exo本地分布式 AI 集群环境配置与安装排错全攻略【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exoexo 把多台本地设备自动组成一个 AI 集群让单卡装不下的大模型跑起来设备越多还越快。这篇文章带你从零完成环境配置和依赖安装3 分钟看到它真的能跑再附上常见报错的排错方法。最小安装路径先看到它跑起来别急着看原理先把这两步敲完。装 exo 需要 Node构建 dashboard、uvPython 依赖管理和 Rust nightly编译 Rust 绑定下面默认 macOS 用 brewLinux 把brew install uv node换成sudo apt install nodejs npm加 uv 官方安装脚本即可brew install uv node curl --proto https --tlsv1.2 -sSf https://sh.rustup.rs | sh rustup toolchain install nightly然后克隆、构建 dashboard、启动git clone https://gitcode.com/GitHub_Trending/exo8/exo cd exo cd dashboard npm install npm run build cd .. uv run exo最后一行会启动集群节点dashboard 和 API 落在http://localhost:52415。验证一下curl http://localhost:52415/models返回 JSON 模型列表说明环境通了。如果机器上装了 NixmacOS 用户可以直接nix run .#exo跳过大部分前置步骤。开工前体检硬件与软件要求安装前先对一遍清单能省掉一半的报错时间。硬件exo 对单机没有硬性门槛关键是集群总内存装得下模型。几个可行组合2 × 8GB 内存的 M3 MacBook Air跑 8B 级模型4 × 512GB M3 Ultra Mac Studio能跑 671B 级模型官方 benchmark 配置1 台 16GB 内存的 RTX 4070 Ti 笔记本Linux 上目前跑 CPUGPU 支持开发中3 × 4~8GB 树莓派 / 小内存设备凑总内存速度不追求软件组件版本要求说明Python必须 3.13pyproject.toml 里写死requires-python 3.13.*这是排错第一大坑uv≥ 0.8.6负责解析锁定好的依赖并自动选 3.13装它就不用手动折腾 venvNode.js≥ 18只用来构建 dashboardRustnightly构建 Rust 绑定 exo-rsXcodemacOS最新稳定版提供 Metal 工具链MLX 编译需要macmonmacOS仓库指定的 fork 版本Apple Silicon 硬件监控Homebrew 的 0.6.1 在 M5 上会崩依赖方面核心依赖版本在 pyproject.toml 里已锁定解析见 uv.lock比较关键的一批aiohttp3.12.14 # 异步 HTTPdashboard API 底座 pydantic2.11.7 # 数据校验 huggingface-hub1.8.0 # 模型下载 transformers5.6.2 # 模型分词与配置 rustworkx0.17.1 # 图算法算集群拓扑 exo-rs # 工作区内的 Rust 绑定uv 会现场编译Apple Silicon 还会拉mlx0.32.0、mlx-lm、mflux0.17.5及torch2.10.0NVIDIA 路线走mlx-cuda12/mlx-cuda13加nvidia-ml-py13.595.45。这些都不用你手动敲uv sync一次到位。安装实操三种场景按需选推荐路径uv 一把梭uv sync --all-packages uv run exouv sync --all-packages会在仓库根建好.venv、按 uv.lock 装齐全部依赖并连同 rust/exo_rs 一起编译出 exo-rs 绑定uv run exo则永远在这个环境里执行不污染系统 Python。手动控制安装建环境 → 核心依赖 → 平台扩展想逐层掌控的话按这个顺序来# 第一层建环境。必须 3.13装不上就先用 uv 装一个 python3.13 -m venv .venv source .venv/bin/activateWindows 上激活是.venv\Scripts\activate。# 第二层核心依赖 Rust 绑定 uv sync --all-packages# 第三层平台扩展四选一 uv sync --all-packages --extra mlx # Apple Silicon uv sync --all-packages --extra mlx-cpu # Linux CPU uv sync --all-packages --extra mlx-cuda12 # Linux NVIDIA CUDA 12 uv sync --all-packages --extra mlx-cuda13 # Linux NVIDIA CUDA 13extras 之间互斥uv 会拦截你同时装两个不用担心装错。平台特调Apple Silicon 的 RDMA 与 NVIDIA 的 CUDA 选择Apple Silicon 多机要快靠的是 macOS 26.2 的 Thunderbolt 5 RDMA。启用流程关机 → 长按电源键 10 秒进恢复模式 → 终端执行rdma_ctl enable→ 重启。注意三件事每台设备必须直连所有其他成员、线缆要支持 TB5、各设备 macOS 版本必须完全一致连 beta 号都要一致。脚本tmp/set_rdma_network_config.sh会自动关掉 Thunderbolt Bridge 并给各 RDMA 端口配 DHCP。NVIDIA 用户不需要额外调参差别只在第二层装哪个 extra驱动是 CUDA 12 选mlx-cuda12CUDA 13 选mlx-cuda13对应 torch 的 cu128/cu130 索引 uv 会自动挑。目前 Linux GPU 整体还在 Tier 1 计划中首个目标是 DGX Spark遇到性能问题先参考下面踩坑表。把设备连起来多端组网与 Dashboard每台设备各自跑一遍uv run exo就行节点通过 libp2p 广播自动发现彼此不需要任何手动配置。打开http://localhost:52415dashboard 提供四个核心功能集群拓扑视图实时看设备连接关系与资源模型选择与 HuggingFace 搜索、分片下载进度聊天窗口直接和跑在集群上的模型对话多 API 兼容OpenAI Chat Completions、Claude Messages、OpenAI Responses、Ollama 四种格式任选同网段想隔离多个集群设EXO_LIBP2P_NAMESPACEmy-dev-cluster再启动即可。踩坑速查表症状uv run exo报 Python 版本不匹配或requires-python 3.13.*冲突 →原因系统只有 3.12/3.11exo 严格要求 3.13 →修复uv python install 3.13 uv run exo症状下载模型或访问 HuggingFace 报 SSL/certificate 错误macOS →原因Python 没挂系统证书 →修复/Applications/Python\ 3.13/Install\ Certificates.command症状依赖装了一半报版本冲突、exo_rs构建失败 →原因环境里有残留包与 uv.lock 打架 →修复uv sync --all-packages --force-reinstall --no-cache症状Linux 上跑起来但速度明显不如预期 →原因Linux 目前走 CPU 推理GPU 支持还在开发中不是配置问题 →修复暂无命令可解关注 平台支持路线图或用--no-worker把弱机器降级为纯协调节点。症状模型下载慢或超时国内网络 →原因直连 huggingface.co 不通畅 →修复HF_ENDPOINThttps://hf-mirror.com uv run exo症状Apple Silicon 两台机器组成集群后没有加速 →原因RDMA 没启用或两台 macOS 版本不一致 →修复按上文恢复模式执行rdma_ctl enable并核对sw_vers完全一致后重启两台机器。跑通验证与下一步最小验证启动后浏览器打开http://localhost:52415在聊天页选一个小模型比如 4bit 的 Llama 3.2 1B发一句话看到流式回复吐字即代表下载 → 分片 → 加载 → 推理整条链路全通嫌模型大就用终端curl http://localhost:52415/models先确认能列出模型。下一步可以做的事再开一台设备跑uv run exo看 dashboard 里拓扑自动多出一个节点把你的 OpenAI/Claude/Ollama 客户端指向localhost:52415直接复用现成工具链用uv run bench/exo_bench.py对比不同分片方式下的 prefill 与解码速度。参考API 文档README特性与 RDMA 说明依赖与 Python 版本锁定主程序入口【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 3分钟跑通 Exo：本地分布式 AI 集群环境配置与安装排错全攻略
3分钟跑通 Exo本地分布式 AI 集群环境配置与安装排错全攻略【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exoexo 把多台本地设备自动组成一个 AI 集群让单卡装不下的大模型跑起来设备越多还越快。这篇文章带你从零完成环境配置和依赖安装3 分钟看到它真的能跑再附上常见报错的排错方法。最小安装路径先看到它跑起来别急着看原理先把这两步敲完。装 exo 需要 Node构建 dashboard、uvPython 依赖管理和 Rust nightly编译 Rust 绑定下面默认 macOS 用 brewLinux 把brew install uv node换成sudo apt install nodejs npm加 uv 官方安装脚本即可brew install uv node curl --proto https --tlsv1.2 -sSf https://sh.rustup.rs | sh rustup toolchain install nightly然后克隆、构建 dashboard、启动git clone https://gitcode.com/GitHub_Trending/exo8/exo cd exo cd dashboard npm install npm run build cd .. uv run exo最后一行会启动集群节点dashboard 和 API 落在http://localhost:52415。验证一下curl http://localhost:52415/models返回 JSON 模型列表说明环境通了。如果机器上装了 NixmacOS 用户可以直接nix run .#exo跳过大部分前置步骤。开工前体检硬件与软件要求安装前先对一遍清单能省掉一半的报错时间。硬件exo 对单机没有硬性门槛关键是集群总内存装得下模型。几个可行组合2 × 8GB 内存的 M3 MacBook Air跑 8B 级模型4 × 512GB M3 Ultra Mac Studio能跑 671B 级模型官方 benchmark 配置1 台 16GB 内存的 RTX 4070 Ti 笔记本Linux 上目前跑 CPUGPU 支持开发中3 × 4~8GB 树莓派 / 小内存设备凑总内存速度不追求软件组件版本要求说明Python必须 3.13pyproject.toml 里写死requires-python 3.13.*这是排错第一大坑uv≥ 0.8.6负责解析锁定好的依赖并自动选 3.13装它就不用手动折腾 venvNode.js≥ 18只用来构建 dashboardRustnightly构建 Rust 绑定 exo-rsXcodemacOS最新稳定版提供 Metal 工具链MLX 编译需要macmonmacOS仓库指定的 fork 版本Apple Silicon 硬件监控Homebrew 的 0.6.1 在 M5 上会崩依赖方面核心依赖版本在 pyproject.toml 里已锁定解析见 uv.lock比较关键的一批aiohttp3.12.14 # 异步 HTTPdashboard API 底座 pydantic2.11.7 # 数据校验 huggingface-hub1.8.0 # 模型下载 transformers5.6.2 # 模型分词与配置 rustworkx0.17.1 # 图算法算集群拓扑 exo-rs # 工作区内的 Rust 绑定uv 会现场编译Apple Silicon 还会拉mlx0.32.0、mlx-lm、mflux0.17.5及torch2.10.0NVIDIA 路线走mlx-cuda12/mlx-cuda13加nvidia-ml-py13.595.45。这些都不用你手动敲uv sync一次到位。安装实操三种场景按需选推荐路径uv 一把梭uv sync --all-packages uv run exouv sync --all-packages会在仓库根建好.venv、按 uv.lock 装齐全部依赖并连同 rust/exo_rs 一起编译出 exo-rs 绑定uv run exo则永远在这个环境里执行不污染系统 Python。手动控制安装建环境 → 核心依赖 → 平台扩展想逐层掌控的话按这个顺序来# 第一层建环境。必须 3.13装不上就先用 uv 装一个 python3.13 -m venv .venv source .venv/bin/activateWindows 上激活是.venv\Scripts\activate。# 第二层核心依赖 Rust 绑定 uv sync --all-packages# 第三层平台扩展四选一 uv sync --all-packages --extra mlx # Apple Silicon uv sync --all-packages --extra mlx-cpu # Linux CPU uv sync --all-packages --extra mlx-cuda12 # Linux NVIDIA CUDA 12 uv sync --all-packages --extra mlx-cuda13 # Linux NVIDIA CUDA 13extras 之间互斥uv 会拦截你同时装两个不用担心装错。平台特调Apple Silicon 的 RDMA 与 NVIDIA 的 CUDA 选择Apple Silicon 多机要快靠的是 macOS 26.2 的 Thunderbolt 5 RDMA。启用流程关机 → 长按电源键 10 秒进恢复模式 → 终端执行rdma_ctl enable→ 重启。注意三件事每台设备必须直连所有其他成员、线缆要支持 TB5、各设备 macOS 版本必须完全一致连 beta 号都要一致。脚本tmp/set_rdma_network_config.sh会自动关掉 Thunderbolt Bridge 并给各 RDMA 端口配 DHCP。NVIDIA 用户不需要额外调参差别只在第二层装哪个 extra驱动是 CUDA 12 选mlx-cuda12CUDA 13 选mlx-cuda13对应 torch 的 cu128/cu130 索引 uv 会自动挑。目前 Linux GPU 整体还在 Tier 1 计划中首个目标是 DGX Spark遇到性能问题先参考下面踩坑表。把设备连起来多端组网与 Dashboard每台设备各自跑一遍uv run exo就行节点通过 libp2p 广播自动发现彼此不需要任何手动配置。打开http://localhost:52415dashboard 提供四个核心功能集群拓扑视图实时看设备连接关系与资源模型选择与 HuggingFace 搜索、分片下载进度聊天窗口直接和跑在集群上的模型对话多 API 兼容OpenAI Chat Completions、Claude Messages、OpenAI Responses、Ollama 四种格式任选同网段想隔离多个集群设EXO_LIBP2P_NAMESPACEmy-dev-cluster再启动即可。踩坑速查表症状uv run exo报 Python 版本不匹配或requires-python 3.13.*冲突 →原因系统只有 3.12/3.11exo 严格要求 3.13 →修复uv python install 3.13 uv run exo症状下载模型或访问 HuggingFace 报 SSL/certificate 错误macOS →原因Python 没挂系统证书 →修复/Applications/Python\ 3.13/Install\ Certificates.command症状依赖装了一半报版本冲突、exo_rs构建失败 →原因环境里有残留包与 uv.lock 打架 →修复uv sync --all-packages --force-reinstall --no-cache症状Linux 上跑起来但速度明显不如预期 →原因Linux 目前走 CPU 推理GPU 支持还在开发中不是配置问题 →修复暂无命令可解关注 平台支持路线图或用--no-worker把弱机器降级为纯协调节点。症状模型下载慢或超时国内网络 →原因直连 huggingface.co 不通畅 →修复HF_ENDPOINThttps://hf-mirror.com uv run exo症状Apple Silicon 两台机器组成集群后没有加速 →原因RDMA 没启用或两台 macOS 版本不一致 →修复按上文恢复模式执行rdma_ctl enable并核对sw_vers完全一致后重启两台机器。跑通验证与下一步最小验证启动后浏览器打开http://localhost:52415在聊天页选一个小模型比如 4bit 的 Llama 3.2 1B发一句话看到流式回复吐字即代表下载 → 分片 → 加载 → 推理整条链路全通嫌模型大就用终端curl http://localhost:52415/models先确认能列出模型。下一步可以做的事再开一台设备跑uv run exo看 dashboard 里拓扑自动多出一个节点把你的 OpenAI/Claude/Ollama 客户端指向localhost:52415直接复用现成工具链用uv run bench/exo_bench.py对比不同分片方式下的 prefill 与解码速度。参考API 文档README特性与 RDMA 说明依赖与 Python 版本锁定主程序入口【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考