导航菜单可切换的导航包含登录、外观设置等选项。平台方面有AI代码创作如GitHub Copilot、GitHub Copilot应用、MCP注册表、开发者工作流如Actions、Codespaces、Issues、代码审查、应用程序安全如GitHub高级安全、代码安全、密钥保护、探索如选择GitHub的理由、文档、博客、更新日志、市场等功能。解决方案按公司规模、用例、行业划分资源按主题、类型探索还有支持与服务。开源部分涵盖社区、项目、仓库。企业级有企业级解决方案和可用附加组件。此外还有定价、搜索、提供反馈、保存的搜索等功能。jamesob/local - llm仓库该仓库是关于在本地运行最先进大语言模型SOTA LLMs的指南。如果你有2000美元或4万美元想拥有本地的机器智能可了解如何在本地运行新型计算。仓库中包含用于在本地运行SOTA模型的硬件及配置秘诀、本地运行语音转文本STT的方法、不错的模型在Docker容器中运行的现成配置。内容概览介绍不同花费对应的模型运行情况如2000美元可运行Qwen模型并实现良好的STT功能4万美元能接近运行Opus模型。还包括基础系统上一代EPYC处理器搭配从eBay购买的DDR4内存花费5600美元、GPU4块RTX PRO 6000共384GB VRAM、c - payne交换机子物料清单、GPU支架、让交换机正常工作的设置、内核/GRUB参数、ACS禁用、GPU功率限制及结果等内容。我的配置作者在RTX Pro 6000价格较低时买了4块构建上一代DDR4系统搭载显卡部件从eBay购买。使用PCIe4交换机来自c - payne.com减少显卡之间的延迟无需使用昂贵的PCIe5硬件。具体物料清单方面约2000美元可购买2块RTX 3090运行Qwen3.6 - 27B模型和使用whisper - large - v3进行STT约4万美元可购买4块RTX 6000 Pros接近Claude Opus的性能还给出了不同日期的最佳模型及运行配置也提到了其他可行方案。硬件为4块RTX 6000 pro机器购买的硬件包括基础系统如主板、CPU、内存等总计5587美元、GPU4块NVIDIA RTX PRO 6000约46000美元、c - payne PCIe Gen4交换机子物料清单约1330美元、GPU支架定制木制机箱花费约一天时间。还介绍了囤积模型权重、运行模型、工具本身的相关内容以及让PCI交换机正常工作的BIOS配置、降低重驱动器的增益、选择合适的SAS电缆等操作。内核/GRUB参数设置GRUB_CMDLINE_LINUX为iommu off amd_iommu off nomodeset更新grub设置nvidia_uvm uvm_disable_hmm 1更新initramfs。若不设置iommu offNCCL在多GPU点对点通信时会挂起。ACS禁用启用ACS时点对点通信流量会通过CPU根端口传输通过setpci在运行时禁用它并通过systemd oneshot在每次启动时运行。可通过lspci - vvv | grep ACSCtl和nvidia - smi topo - m验证使用./tools/measure - gpu - speed.sh可测量指标。GPU功率限制为避免安装220V电路在单110V电路上运行设备对显卡进行功率调节通过systemd在启动时应用持久模式和功率上限。可通过nvidia - smi --query - gpu index,power.limit,power.draw --format csv验证。结果上游为Gen4 x16约30 GB/s到CPU通过交换机的点对点通信单向27.5 GB/s /双向50.4 GB/s0.37 - 0.45微秒延迟即Gen4线路速率。资源包括经常更新的关于充分利用4、6或8块RTX 6000 Pro显卡的仓库、使用的独立PCI交换机、RTX6kPRO的Discord服务器。关于作者分享所知道的关于在本地运行大语言模型的一切。