我自己也是从新手过来踩过的一些坑跟大家分享一下希望帮助新手小白少走一些弯路。写文章不容易希望大家关注、点赞加转发谢谢自从学习openclaw之后慢慢接触到服务器。之前由于openclaw只是一个运行程序所以对服务器要求很低基本上一些十年前甚至二十年前的旧电脑就可以跑起来。但是所有AI智能体绕不开的是大模型。大模型就是AI的大脑没有大模型所有的AI智能体都无法正常运行。在上一个合集中介绍的获取三种大模型的方法一是收费大模型二是免费大模型三是自己搭建服务器运行大模型。收费大模型是最好的唯一的缺点就是贵。免费的大模型一般限制比较多所以使用体验不是太好。所以我自己比较推荐本地部署大模型不过这个对一般人来说还是有点难度的。我本人不是从事AI相关工作我自己也是从新手小白一点点学习起来的所以我希望用最简单直白的方式分享我自己的学习过程让一般普通人学习AI的过程中可以少走一点弯路。在上一个系列中我介绍了如何安装和使用openclaw在上个系列的最后一期里我提到了我用笔记本电脑本地部署大模型的教程。在文章最后我也提到我的笔记本电脑虽然配置还可以但是对于运行大模型来说那简直就是小马拉大车基本上只是一个体验无法完成实际工作的。在我之前的日常使用当中笔记本电脑已经是我最高配置的电脑所以如果真的要流畅运行AI大模型还是要用配置更高或者专门的服务器来运行才可以。下面讲一下我选择AI服务器的一些坎坷经历目的就是让大家少走弯路。一服务器主板选择在我的日常工作中会接触到各种服务器比如文件服务器软件服务器等等。我一开始也是按照我的惯性思维觉得要运行AI服务器那就需要配置一台DELL或者HP的服务器。但是这些服务器价格都比较高动不动就几万甚至十几万一台而且体积很大需要专门的机柜来安放。这种全新的服务器性价比太低所以我转向了二手服务器。二手服务器在咸鱼上有很多价格也比全新服务器便宜很多但是由于流通比较少价格还是比家用电脑贵。我开始看到的戴尔R730这些十多年前的服务器。这些服务器性价比比较高准系统只有主板、机箱和电源大概500-600左右自己配置好CPU和内存及硬盘大概价格在2000到3000左右。这些服务器一般都是支持E5的至强CPU因为年代久远一般E5 2620V4这种CPU咸鱼上不到10块还包邮。不过内存的价格涨太快了目前DDR4的内存比2024年涨价起码2倍以上。我在年初买的DDR4 2666M频率的16G内存花了差不多500一根2根内存就差不多1000了真的是太贵了。CPU比较便宜所以我没怎么考虑直接下单买了但是在我准备下单买二手服务器的时候我无意中看到了服务器主板芯片是C612我想看看有没有便宜点的C612主板的服务器没有想到打开了我新世界的大门。我用关键词“C612主板”搜出来不是服务器而是一大堆X99。这个时候我脑海里打了很多个问号C612和X99有什么关系后来我深入研究了一下X99主板的历史才发现原来是一个历史的产物。X99主板一开始是为了挂机而诞生的在2020年前后有一大批通过挂机来赚钱。大家可能在网上都看到过在一个房间里挂满了手机的那种照片就像下面这种这种用手机来挂机的成本比较高而且集中控制比较困难所以就有人研究出来通过电脑安装手机模拟器模拟手机来挂机这样成本比较低而且非常容易实现集中控制这个时候就催生出X99主板这种服务器主板和CPU用在家用电脑上的市场。服务器主板和CPU性能比家用电脑CPU强很多一般E5的至强CPU起步都是8核心16线程比起家用intel十代以前的CPU强不少但是家用的十代CPU最少也要大几百相对于10块以下的E5来说真的是降维打击。后来我通过收集和学习发现个人学习AI的很多人都是从X99主板和E5的CPU起步的所以我也推荐大家用X99主板和E5的CPU来搭建个人AI服务器。二服务器CPU选择在我决定用X99主板加E5的CPU来组建我的AI服务器之后我在这里就走了很多弯路也浪费了很多钱真是泪目。由于是服务器芯片用在家用电脑上所以X99主板基本上都一些小厂出品。一开始我不了解所以随便找了一个卖二手X99主板的卖家买了一张X99主板不到100块。由于当时我对X99主板不了解只是简单问了一下豆包X99主板用什么内存豆包回复DDR3和DDR4都可以用。我自己手头上有好几根旧DDR3的旧内存所以没有买内存。结果收到主板之后才发现我买的X99主板只支持DDR4内存不支持DDR3内存我还在咸鱼上跟卖家大吵了一顿后来才发现原来人家在介绍里写了很清楚他的主板只支持DDR4内存是我自己太相信豆包了结果买错了。因为我自己手头上没有DDR4内存后来在咸鱼上找了一下发现DDR4内存太贵了一根8G的内存要200多一根16G的内存要400多。后来我再找了一下发现确实有支持DDR3内存的X99主板所以我从新又买了一块支持DDR3内存X99主板大概130左右。收到主板之后发现确实发现可以用我的DDR3旧内存DDR3和DDR4的插槽不一样DDR3内存插不进DDR4内存插槽反过来也一样DDR4内存也插不进DDR3内存插槽。插上CPU和内存还找出一张旧显卡插到主板上但是发现电脑点不亮。然后我把内存和显卡换到别的电脑上确认内存和显卡都没有问题重新放到X99主板上但是还是点不亮。然后我找卖家说点不亮。然后卖家问我是什么CPU我说是E5的2620V4。卖家说E5的2620V4只支持DDR4内存不支持DDR3内存要用E5 2674V3或者2699V3这些CPU才可以用DDR3内存。这个时候我想死的心都有了。没办法只好再买内存或者CPU。我在咸鱼上找了一下可以用DDR3内存的E5普遍都比较用DDR4内存的贵很多。2620V4才几块钱2699V3要差不多100。100块的CPU相对于200多的内存还是便宜一半所以我咬咬牙还是买了2699V3的CPU。收到CPU之后插到主板上这次终于可以成功点亮可以正常安装系统。看到电脑启动画面那一刻简直跟中彩票差不多。一开始我还以为终于可以用上我自己的AI服务器了但是万万没有想到点亮电脑只是我噩梦的开始。给大家看看我买的两块X99主板这张是支持DDR3内存的X99主板只有一个显卡插槽只能插一张显卡主板比较小。这是支持DDR4内存的X99主板有2个显卡插槽主板比较大。很明显支持DDR4内存的主板无论从做工和用料上都比DDR3内存的主板好很多。正因为这个主板的原因让我走了很多很多弯路。由于E5是服务器CPU所以功耗很高。我们一般家用的CPU功率比较小一般都50-100W左右但是E5的CPU不一样一般都是100W起步而我买的2699V3的功率是145W这个功率跟电烤炉都差不多了。装好系统之后我的服务器会经常莫名其妙的死机或者重启。我怀疑过内存怀疑过显卡也怀疑过电源。这些我都全部换过但是问题依然存在后来经过我长时间排查才发现原来是我主板的问题。后来我用专门的软件测试在CPU满负载的时候主板的供电不足导致电脑死机或者重启。这个问题折腾了我差不多2个月安装好的软件和大模型一运行就死机或者重启根本无法正常使用。后来我实在没有办法花了差不多1000块买了2根16G的DDR4内存装在我原来买的X99主板和CPU上重启和死机问题才彻底解决了。所以建议大家配置AI服务器一定要选择大的X99主板CPU供电要稳定否则会容易死机或者重启。而且最好可以插2张PCIE显卡的插槽下面显卡会说到。三服务器显卡选择折腾完主板和CPU下一个关卡就是显卡。因为我之前在笔记本电脑上可以正常运行ollama大模型所以我简单认为配置高CPU和大内存就可以跑本地大模型没有想到我还是太傻太天真了。现在的大模型基本上都是显卡上跑CPU和内存只是辅助而已。当我那台X99服务器跑起来发现不比我之前笔记本快多少之后我在网上查找资料才发现要真正跑大模型要专门的显卡才行。在显卡选择上我也走了很多弯路真的说起来都是泪。一开始我找的是普通显卡比如1060和2060。这些显卡应该算是过时的高端卡了用来玩游戏基本上问题不大但是用来跑大模型却远远不够。后来我发现跑大模型要用nVidia的tesia特斯拉显卡这些显卡都才是专门用来跑大模型的。大家在电视上看到的美国禁止向中国出售的A100和H100就是tesia显卡是用在算力服务器上显卡不是用来打游戏的显卡。tesia显卡最早型号是G80是在2006年发布的后来慢慢有C2050,K20,M40P100等等。从P100开始引入了HBM2 显存和 NVLink 高速互联然后就是划时代的V100显卡首次引入 Tensor Core。 Tensor Core就是之后所有大模型都使用的框架openai和deek seek这些大模型都是基于Tensor Core架构开的。大家对tesia显卡感兴趣可以自己上网学习一下。后来我在网上学习了一下大多数入门选择的是V100显卡价格比较便宜而且支持Tensor Core所以性价比比较高。V100有两种型号和2种显存规格一种是SXM2接口一种是PCIE接口。SXM2接口的V100是专门用在算力中心服务器上的这些服务器动则几十上百万不是我们普通人买得起的。PCIE接口就是我们普通电脑和服务器上用的接口可以直接插到主板的PCIE主板上。显存有16G和32G两种规格16G显存的价格比较低一般在1500以内32G显存的价格很高一般都在3000以上。因为V100是算力卡所以SXM2接口的二手显卡很多都是算力中心淘汰下来的。有市场就有需求所以就诞生了SXM2转PCIE转接卡这种东西把SXM2接口的显卡转成PCIE接口的用在普通电脑和服务器上。一般这种SXM2转PCIE的V100 16G价格在1000以内纯PCIE的V100 16G一般在1200-1500之间。我自己用的是便宜的SXM2转PCIE的V100 16G使用起来没有太多区别但是网上说这种SXM2接口的V100都是算力中心淘汰的使用时间很长质量会比PCIE接口的V100差。不过因为我是新手小白所以综合考虑还是选择了性价比比较高的SXM2接口的V100作为入门。另外V100显卡是算力卡什么是算力卡就是只负责运算不负责输出简单来说就是没有显示接口的也就是说没办法接显示器如果要电脑有输出还需要另外配置一张显卡作为输出才能正常显示。所以我建议买有2个PCIE插槽的X99主板这样可以插一张V100,再插一张亮机卡会方便很多。四服务器内存选择X99主板支持普通内存和服务器内存我一开始买的普通DDR4内存价格比较高后来我才发现X99支持服务器内存DDR4服务器内存的价格比普通DDR4内存便宜30%左右如果想降低成本的可以买DDR4服务器内存。如果想通用性强一点以后换主板还能用旧内存的那就买普通的DDR4内存通用性强一定。因为要跑大模型建议内存最低也要16G最好是32G以上这样在显卡显存不足的时候可以调用主板内存。当然这样速度会比较慢但是起码可以跑起来。如果显卡显存不足内存也不足的话程序就会报错直接退出无法跑起来。E5的CPU支持的频率不高所以一般选2666就可以。五服务器硬盘选择影响AI服务器运行的主要就是CPU、内存和显卡但是在极端情况下硬盘的速度对AI运行也起到一定作用。目前市面上有2种形态的电脑硬盘分别是HDD机械硬盘和SSD固态硬盘。接口也分2种一种是SATA接口一种是M.2接口。HDD和SSD都有SATA接口的这种接口比较老一般主板都有这种接口就像这样的。这种接口速度比较慢但是通用性比较强一般十几年前的固态硬盘就支持这种接口所以如果有旧的固态硬盘直接可以利用上。不过不建议用SATA接口的机械硬盘因为机械硬盘的读取速度比较慢一个大模型动不动就20-30G所以用机械硬盘做AI服务器的话会慢到让怀疑人生最低也要用SATA接口的固态硬盘。目前新的主板都支持M.2接口的固态硬盘接口像这样的。X99主板都带有这种接口。但是M.2接口硬盘又分NGFF和NVMENGFF接口的固态硬盘其实就是换了接口的SATA硬盘走的还是SATA协议最高速度只有600MB/S但是NVME接口的M.2固态硬盘普遍都有1500MB/S以上速度是SATA的好几倍。所以大家要分清楚别买错了。如果家里有旧的SATA接口固态硬盘那直接用上建议容量至少要256G以上最好是512G以上因为一个大冒险动不动就几十G两三个模型就好几百G了所以硬盘容量要大一点。如果家里没有旧的SATA硬盘要重新买硬盘那建议直接买NVME协议的M.2硬盘比NFGG格式的贵20%左右但是速度提升非常多。六服务器电源选择五大件选完之后还有一个重点就是电源的选择的。V100的满载功率是300W加上E5的145W再加上主板和内存还有另外一张亮机卡总功率超过500W所以电源一定要选择额定功率600W以上的。由于大部分电源厂家的宣传不实600W的额定功率往往只有500W左右只能勉强运行所以我建议选择额度功率700W以上才能正常运行。额定功率在700W以上的电源新品一般在150到200左右二手的也在60-100之间质量太差的电源会影响主板和显卡所以建议大家选大品牌的。另外V100显卡需要2个8PIN的电源输入所以要买双8PIN的电源才行只有单8PIN电源输入的电源无法让V100正常运行。七服务器机箱选择大家在上面可以看到V100显卡的成品很大大概有30cm长再加上电源接口所以要买长度超过40cm的机箱才行最好是买50cm长的否则很难装上V100显卡。如果选择E5 2620V4这样的CPU加上X99主板和2根DDR4的16G内存一张V100 16G显卡加上一个512G的nvme硬盘再加上一个额度功率700W以上的电源和机箱成本大概在2500-3000左右。如果选择E5 2698V3这样的CPU加上一张支持DDR3内存的X99主板再加上一张V100 16G显卡利用家里旧DDR3内存和旧的SATA固态硬盘还有家里旧的电源和机箱成本可以控制在1000以内。这是我目前研究出来最低成本可以顺利跑AI大模型的服务器了希望想进入AI领域的新手可以跟着我一起学习更多的AI知识。转载的:请尊重原创 创作不容易 我是转载的 谢谢作者