1. 项目概述与核心价值最近在折腾银河麒麟和Ubuntu系统上配置深度学习环境的朋友估计没少在显卡驱动、CUDA和cuDNN这三座大山面前栽跟头。我自己的几台工作站既有国产化的银河麒麟V10也有作为开发主力的Ubuntu 22.04 LTS反复安装、调试、重装的过程让我对这里面的门道摸得比较清楚。这绝不是一个简单的apt install就能搞定的事情它涉及到操作系统底层、硬件兼容性、软件版本锁死等一系列环环相扣的步骤一步走错轻则性能不佳重则系统黑屏无法启动。简单来说这个项目的核心目标就是在Linux系统特别是银河麒麟和Ubuntu这类主流发行版上搭建一个能充分发挥NVIDIA显卡硬件加速能力的计算环境。无论是为了跑TensorFlow、PyTorch训练模型还是进行CUDA加速的科学计算这个环境都是基石。它的价值在于一旦配置成功你将获得一个稳定、高效且与你的深度学习框架版本完美匹配的计算平台避免后续出现各种“玄学”错误。整个过程可以拆解为三个核心任务安装正确的NVIDIA显卡驱动、安装对应版本的CUDA Toolkit、以及配置匹配的cuDNN库。听起来简单但每个环节都有大量细节需要把握尤其是银河麒麟作为基于Linux的国产系统其软件源和包管理有其特殊性不能完全照搬Ubuntu的教程。2. 环境准备与关键概念厘清在动手之前花点时间理清思路和准备好前置条件能避免你浪费大量时间在无谓的试错上。很多人一上来就照着某个教程敲命令结果驱动、CUDA、系统内核版本对不上导致安装失败甚至系统崩溃。2.1 硬件与系统确认首先你必须确认你的机器拥有NVIDIA的显卡。在终端里输入lspci | grep -i nvidia如果能看到显卡信息比如GeForce RTX 4090、Tesla V100等那就没问题。如果是在虚拟机里除非是做了GPU直通PCIe Passthrough的VMware或KVM否则通常无法使用物理GPU这时安装驱动是没有意义的。其次明确你的操作系统版本。对于Ubuntu运行lsb_release -a查看对于银河麒麟可以查看/etc/.productinfo或使用nkvers命令。记下系统版本号如Ubuntu 22.04.3 LTS银河麒麟V10 SP1。这个信息至关重要因为NVIDIA官方提供的驱动run文件或CUDA仓库对系统版本有明确要求。最后检查系统是否安装了gcc、make、kernel-headers等编译工具链。这是通过官方.run文件安装驱动或从源码构建某些组件时所必需的。在Ubuntu上可以运行sudo apt update sudo apt install build-essential。在银河麒麟上命令可能是sudo apt update sudo apt install build-essential如果软件源配置正确但更常见的是使用其自带的软件商店或yum/dnf命令取决于具体版本需要确认包名。2.2 理解驱动、CUDA Toolkit与cuDNN的关系这是最容易混淆的地方我把它们的关系类比成一个工厂NVIDIA显卡驱动就像是工厂的电力系统和基础设备操作员。没有驱动显卡这块“硬件设备”就无法被操作系统识别和调度更谈不上工作。它是最底层的软件。CUDA Toolkit这是NVIDIA提供的一整套软件开发工具包。它包含编译器nvcc、调试器、数学库如cuBLAS、cuFFT以及最重要的CUDA运行时库cudart。你可以把它理解为工厂里的生产线、专用工具和标准操作流程手册。应用程序如PyTorch调用CUDA Runtime API由Runtime去和驱动通信指挥显卡干活。cuDNN (CUDA Deep Neural Network library)这是一个针对深度神经网络操作的加速库。它实现了高度优化的前向和反向传播算法比如卷积、池化、归一化等。它不是独立运行的而是基于CUDA Toolkit构建的专用高效工具集。就像在标准生产线上针对“组装汽车发动机”这个特定任务又提供了一套更精密的夹具和机器人程序极大提升该环节的效率。PyTorch、TensorFlow在实现GPU加速的神经网络层时底层调用的就是cuDNN。它们之间存在严格的版本依赖关系。通常一个特定版本的PyTorch或TensorFlow会要求特定版本的CUDA而该版本的CUDA又要求特定版本以上的显卡驱动同时还需要对应版本的cuDNN。因此正确的安装顺序和版本选择策略是先根据你的深度学习框架需求确定CUDA版本然后根据该CUDA版本的要求选择满足条件的显卡驱动最后安装与该CUDA版本匹配的cuDNN。注意在Ubuntu上通过apt安装NVIDIA官方仓库提供的驱动包时有时会连带安装一个“CUDA驱动”或特定版本的CUDA运行时。这容易让人误解。这里安装的通常是满足该驱动版本所需的最低限度CUDA运行时支持并非完整的CUDA Toolkit开发环境。为了开发我们通常需要独立安装完整的CUDA Toolkit。3. 彻底卸载旧有组件如需如果你之前尝试安装过但失败了或者需要升级一个干净的起点非常重要。残留的旧文件是导致各种诡异问题的罪魁祸首。3.1 在Ubuntu上的清理Ubuntu上如果通过apt安装过驱动卸载相对规范# 卸载通过apt安装的NVIDIA驱动及相关包 sudo apt purge *nvidia* *cuda* *cudnn* # 卸载通过官方.run文件安装的驱动如果之前用过此方法 sudo /usr/bin/nvidia-uninstall # 如果此文件存在 # 清理可能残留的配置和模块 sudo apt autoremove sudo apt autoclean此外还需要手动清理一些可能残留的目录# 删除CUDA Toolkit如果手动安装到默认路径 sudo rm -rf /usr/local/cuda* # 删除NVIDIA驱动相关库文件谨慎操作确保只删除NVIDIA相关 sudo rm -rf /usr/lib/nvidia* sudo rm -rf /usr/lib/x86_64-linux-gnu/nvidia*最后更新内核模块初始化文件并重启sudo update-initramfs -u sudo reboot3.2 在银河麒麟上的清理银河麒麟的包管理可能基于apt或yum/dnf需要先确认。清理思路类似但路径和包名可能略有不同。# 如果使用apt常见于桌面版 sudo apt purge *nvidia* *cuda* sudo apt autoremove # 如果使用yum常见于服务器版 sudo yum remove *nvidia* *cuda* sudo yum autoremove同样需要手动检查并清理/usr/local/cuda*和/usr/lib64/nvidia*等目录。银河麒麟的一个关键点是其默认内核可能打了大量国产化补丁与NVIDIA官方驱动模块的兼容性需要特别关注。有时需要安装与当前内核版本完全匹配的kernel-devel或kernel-headers包否则驱动编译会失败。实操心得在银河麒麟上最稳妥的方式是在安装驱动前先通过系统更新将内核升级到最新稳定版并确保安装了对应版本的开发头文件。因为NVIDIA官方驱动对新内核的适配往往更好。可以使用uname -r查看当前内核版本然后在软件源中搜索安装kernel-devel-$(uname -r)或类似包。4. 核心环节一安装NVIDIA显卡驱动这是第一步也是最容易出问题的一步。主要有两种方法通过系统仓库/PPA安装或使用NVIDIA官方下载的.run文件安装。推荐前者更易于管理。4.1 方法A通过APT仓库安装推荐适用于Ubuntu及配置了合适源的银河麒麟对于Ubuntu添加NVIDIA官方显卡驱动PPA个人软件包存档# 首先导入仓库密钥 sudo apt update sudo apt install software-properties-common -y sudo add-apt-repository ppa:graphics-drivers/ppa -y sudo apt update查找可用的驱动版本。你可以访问NVIDIA官网根据你的显卡型号和将要安装的CUDA版本确定一个推荐的驱动版本例如CUDA 12.1要求驱动版本530.30.02。然后在终端中查看可用版本apt list nvidia-driver-* | grep -E ^nvidia-driver-[0-9]你会看到类似nvidia-driver-535nvidia-driver-545的包名数字代表驱动分支版本。安装选定的驱动版本。假设我们选择535sudo apt install nvidia-driver-535安装过程会编译内核模块DKMS这需要一些时间。安装完成后必须重启系统。验证安装。重启后运行nvidia-smi。如果成功你将看到一个表格显示显卡型号、驱动版本、CUDA版本这里显示的CUDA版本是驱动内建支持的最高版本不是你安装的CUDA Toolkit版本以及GPU使用情况。对于银河麒麟银河麒麟默认的软件源可能不包含最新的NVIDIA驱动。你需要检查系统架构uname -m通常是x86_64和版本。尝试配置EPELExtra Packages for Enterprise Linux源或NVIDIA官方CUDA网络仓库。这是关键且可能遇到障碍的一步。以配置CUDA网络仓库为例假设是x86_64架构的银河麒麟V10# 下载仓库安装包具体URL需根据系统版本从NVIDIA官网获取 # 例如对于rhel8系银河麒麟V10可能基于此 wget https://developer.download.nvidia.com/compute/cuda/repos/rhel8/x86_64/cuda-rhel8.repo # 将其移动到yum仓库目录 sudo mv cuda-rhel8.repo /etc/yum.repos.d/ # 清理并重建缓存 sudo yum clean all sudo yum makecache注意此步骤可能因银河麒麟的系统标识、内核签名验证等问题失败。如果失败则只能采用方法B。如果仓库配置成功则可以类似地使用yum search nvidia-driver查找并安装。如果仓库方法行不通那么在银河麒麟上方法B.run文件安装往往是更可行的选择但需要提前准备好对应内核版本的开发包。4.2 方法B使用官方RUN文件安装通用但稍复杂当仓库安装不可行或需要特定版本时使用此方法。前往NVIDIA官网驱动下载页面手动选择你的显卡产品类型、系列、型号、操作系统Linux 64-bit和CUDA Toolkit版本如果需要下载对应的.run文件。在安装前必须禁用系统自带的nouveau开源驱动几乎所有Linux发行版默认使用它。创建配置文件sudo vim /etc/modprobe.d/blacklist-nouveau.conf 内容如下blacklist nouveau options nouveau modeset0更新initramfs并重启sudo update-initramfs -u sudo reboot。重启后验证是否禁用lsmod | grep nouveau应无输出。重启后系统可能使用基础显示模式。按CtrlAltF2切换到文本终端tty2登录。关闭图形界面如果是Ubuntu桌面版sudo service gdm stop # 对于使用GDM的Ubuntu # 或 sudo service lightdm stop / sudo systemctl stop sddm 等取决于你的显示管理器给.run文件添加执行权限并运行安装程序chmod x NVIDIA-Linux-x86_64-*.run sudo ./NVIDIA-Linux-x86_64-*.run在安装向导中有几个关键选项Install NVIDIAs 32-bit compatibility libraries?通常选Yes。Would you like to run the nvidia-xconfig utility?如果你使用X11图形界面且只有一块NVIDIA显卡可以选Yes自动配置Xorg。如果使用Wayland或多显卡或者不确定建议选No后续手动配置。如果提示“The distribution-provided pre-install script failed”一般选Continue。如果提示编译内核模块需要确保已安装kernel-headers和gcc选Yes继续。安装完成后重启系统sudo reboot。验证重启进入图形界面后打开终端运行nvidia-smi。常见问题与排查安装后黑屏/循环登录这通常是因为驱动与Xorg配置冲突。可以在安装时选择不运行nvidia-xconfig或者进入恢复模式删除或备份现有的/etc/X11/xorg.conf文件然后重启。nvidia-smi命令未找到说明驱动未正确安装或路径未加入。检查/usr/bin/nvidia-smi是否存在。使用.run文件安装时默认会安装到正确位置。在银河麒麟上编译内核模块失败几乎一定是kernel-devel包版本与当前运行的内核uname -r不匹配。确保你安装的kernel-devel版本号完全一致。有时需要从银河麒麟的安装镜像或特定更新源中获取这个包。5. 核心环节二安装CUDA Toolkit驱动安装成功后nvidia-smi顶端会显示一个“CUDA Version”例如12.4。请注意这个版本号是此显卡驱动所能支持的最高CUDA运行时版本不是你系统上安装的CUDA Toolkit版本。你可以安装等于或低于此版本的CUDA Toolkit。5.1 选择与下载CUDA Toolkit前往NVIDIA CUDA Toolkit下载页面。这里你会面临一个选择使用网络安装包runfile还是本地安装包runfile。网络安装包较小安装时从网络下载所需组件。适合网络环境好、不想下载大文件的用户。本地安装包较大约2-4GB包含所有组件离线安装更可靠。强烈推荐在银河麒麟或网络不稳定的环境下使用此方式。选择与你操作系统匹配的版本对于银河麒麟通常选择对应的RHEL/CentOS版本。记下你选择的版本号如12.1。5.2 安装CUDA Toolkit以下以本地runfile为例假设文件为cuda_12.1.0_530.30.02_linux.run运行安装程序sudo sh cuda_12.1.0_530.30.02_linux.run你会看到一段很长的EULA协议按空格键翻页输入accept接受。进入安装选项界面。这里非常关键第一个选项[ ] Driver一定要取消勾选因为我们已经安装了驱动再安装可能会引起冲突。使用方向键移动到Driver项按空格键取消[X]变为[ ]。确保[X] CUDA Toolkit 12.1是选中的。下面的Symbolic link创建符号链接/usr/local/cuda指向当前版本也建议保持选中这样方便后续环境变量配置。其他组件如Nsight等可根据需要选择。选择Install开始安装。安装路径默认是/usr/local/cuda-12.1符号链接/usr/local/cuda会指向它。安装完成后需要配置环境变量让系统知道CUDA的位置。5.3 配置环境变量编辑当前用户的~/.bashrc文件如果使用zsh则是~/.zshrcvim ~/.bashrc在文件末尾添加以下行export PATH/usr/local/cuda/bin${PATH::${PATH}} export LD_LIBRARY_PATH/usr/local/cuda/lib64${LD_LIBRARY_PATH::${LD_LIBRARY_PATH}}保存退出后使配置立即生效source ~/.bashrc。验证CUDA安装检查编译器版本nvcc --version。这会输出CUDA编译器版本应与安装的Toolkit版本一致。编译并运行一个样例程序可选但推荐cd /usr/local/cuda/samples/1_Utilities/deviceQuery # 如果samples已安装 sudo make ./deviceQuery如果最后看到Result PASS说明CUDA安装和配置成功系统可以识别并调用GPU。注意事项版本一致性你安装的CUDA Toolkit版本必须小于等于nvidia-smi显示的驱动支持的最高CUDA版本。多版本管理你可以安装多个CUDA版本如/usr/local/cuda-11.8和/usr/local/cuda-12.1通过更改/usr/local/cuda这个符号链接的指向或者直接在不同项目的环境变量中指定不同的CUDA_HOME来切换。这是一种非常实用的技巧。银河麒麟的特殊性在银河麒麟上运行.run安装文件时可能会遇到依赖库缺失的问题例如libxml2.so、libtinfo等。你需要根据安装程序的报错信息使用yum provides */libxxx.so或apt-file search libxxx.so来查找并安装对应的系统包。6. 核心环节三安装与配置cuDNNcuDNN是NVIDIA开发者网站上的一个独立库需要注册账号免费才能下载。它的安装不是通过安装程序而是手动拷贝库文件和头文件。6.1 下载与版本匹配访问NVIDIA cuDNN下载页面。你需要选择与刚才安装的CUDA Toolkit版本匹配的cuDNN版本。例如CUDA 12.1 可以选择 cuDNN for 12.x。下载“Local Installer for Linux (x86_64)”的压缩包通常是.tar.xz格式。6.2 安装cuDNN实为文件部署假设下载的文件是cudnn-linux-x86_64-8.9.5.30_cuda12-archive.tar.xz。解压文件tar -xvf cudnn-linux-x86_64-8.9.5.30_cuda12-archive.tar.xz将解压出的文件拷贝到CUDA Toolkit的安装目录中。请务必使用绝对路径避免错误。# 进入解压后的目录 cd cudnn-linux-x86_64-8.9.5.30_cuda12-archive # 拷贝头文件 sudo cp include/cudnn*.h /usr/local/cuda/include/ # 拷贝动态链接库文件 sudo cp lib/libcudnn* /usr/local/cuda/lib64/ # 更改库文件的权限 sudo chmod ar /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*注意如果你的CUDA安装在了非默认路径比如/opt/cuda-12.1请将上面的/usr/local/cuda替换为你的实际路径。6.3 验证cuDNN安装由于cuDNN是运行时库没有直接的可执行文件验证。我们可以通过编译一个依赖cuDNN的样例或者使用Python简单验证。方法一使用CUDA Samples中的样例如果安装了samplescd /usr/local/cuda/samples/7_CUDALibraries/simpleCudnn sudo make ./simpleCudnn如果程序能正常运行并输出一些测试信息说明cuDNN安装成功。方法二在Python环境中验证更常用 首先确保你安装了Python和pip。然后安装nvidia-pyindex和nvidia-cudnn-cu12以CUDA12为例的wheel包。但更常见的验证方式是在后续安装PyTorch或TensorFlow后运行一个简单的GPU卷积操作看是否能成功调用。实操心得cuDNN的安装其实很简单就是复制文件。最大的坑在于版本匹配。务必、务必、务必确保cuDNN的版本是为你的CUDA主版本如12.x设计的。一个CUDA 12.1搭配一个for CUDA 11.x的cuDNN是绝对无法工作的。下载时仔细核对文件名和NVIDIA官网的版本说明表格。7. 深度学习框架环境配置与最终验证至此底层驱动、CUDA、cuDNN都已就绪。现在我们来搭建最终的用户环境——深度学习框架。这里以PyTorch为例因为它对环境隔离和版本管理做得非常好。7.1 使用Conda创建虚拟环境强烈推荐Conda可以完美地隔离不同项目所需的Python版本和包依赖。安装Miniconda或Anaconda。创建一个新的虚拟环境并指定Python版本如3.10conda create -n my_pytorch_env python3.10 -y conda activate my_pytorch_env7.2 安装PyTorchGPU版本前往PyTorch官网使用其提供的安装命令生成器。选择PyTorch Build: StableYour OS: LinuxPackage: Conda (或Pip但Conda能自动解决一些CUDA相关的依赖)Language: PythonCompute Platform: 选择与你安装的CUDA版本匹配的例如CUDA 12.1你会得到类似这样的命令# 使用Conda conda install pytorch torchvision torchaudio pytorch-cuda12.1 -c pytorch -c nvidia # 或使用Pip pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121在激活的Conda环境中执行对应命令。7.3 最终验证安装完成后在Python交互环境中进行终极测试import torch print(fPyTorch版本: {torch.__version__}) print(fCUDA是否可用: {torch.cuda.is_available()}) print(f可用GPU数量: {torch.cuda.device_count()}) print(f当前GPU名称: {torch.cuda.get_device_name(0)}) print(fCUDA版本PyTorch内置: {torch.version.cuda})如果torch.cuda.is_available()返回True并且能正确打印出GPU信息那么恭喜你一个完整的、从驱动到框架的GPU深度学习环境已经成功搭建对于TensorFlow流程类似你需要安装对应版本的tensorflow-gpu或tensorflow2.x版本后整合了GPU支持并通过tf.config.list_physical_devices(GPU)来验证。8. 疑难杂症与进阶管理即使按照步骤操作也可能遇到各种问题。这里记录一些典型问题的排查思路。8.1 常见问题速查表问题现象可能原因排查步骤与解决方案nvidia-smi命令未找到1. 驱动未安装成功。2. 命令不在PATH中。1. 检查/usr/bin/nvidia-smi是否存在。2. 尝试使用绝对路径/usr/bin/nvidia-smi。3. 回顾驱动安装步骤查看安装日志/var/log/nvidia-installer.log。nvidia-smi能运行但torch.cuda.is_available()返回 False1. PyTorch安装的不是GPU版本。2. PyTorch的CUDA版本与系统安装的CUDA Toolkit版本不匹配。3. 环境变量如LD_LIBRARY_PATH未正确设置。1. 检查PyTorch安装命令是否包含cuda选项如pytorch-cuda12.1。2. 在Python中执行import torch; print(torch.__version__)查看是否包含cuXXX。3. 在终端执行echo $LD_LIBRARY_PATH和which nvcc确认CUDA路径已包含。4. 尝试在Conda环境中使用conda install cudatoolkit12.1 -c nvidia安装一个与PyTorch匹配的cudatoolkit conda包它会在虚拟环境内部署一套CUDA运行时常能解决此问题。运行程序时报libcudnn.so.8: cannot open shared object filecuDNN库未正确安装或路径未找到。1. 确认文件已拷贝到/usr/local/cuda/lib64/下。2. 检查LD_LIBRARY_PATH是否包含/usr/local/cuda/lib64。3. 可以创建软链接sudo ln -s /usr/local/cuda/lib64/libcudnn.so.8.x.x /usr/local/cuda/lib64/libcudnn.so.8。银河麒麟系统安装驱动后黑屏1. 驱动与内核或显示服务器不兼容。2. Xorg配置冲突。1. 尝试安装不同版本的驱动尤其是长期支持版。2. 进入恢复模式或文本终端移除或重命名/etc/X11/xorg.conf然后重启。3. 检查是否使用了Wayland尝试切换回X11。编译CUDA Samples时失败1. 缺少系统依赖库。2. gcc版本与CUDA不兼容。1. 根据错误信息安装缺失的-dev或-devel包如libfreeimage-dev。2. CUDA 12通常需要较高版本的gcc如11使用gcc --version检查必要时升级。8.2 多版本CUDA环境管理技巧当需要为不同项目切换CUDA版本时手动修改符号链接和环境变量比较麻烦。推荐以下方法使用环境模块Environment Modules这是一个强大的工具可以让你动态加载/卸载不同版本的软件环境。安装后sudo apt install environment-modules为每个CUDA版本创建模块文件即可通过module load cuda/12.1或module load cuda/11.8轻松切换。在Conda虚拟环境中安装cudatoolkit如前所述Conda提供了cudatoolkit包。当你创建一个虚拟环境并安装特定版本的PyTorch和cudatoolkit时这个环境就自包含了一套CUDA运行时完全独立于系统全局安装的CUDA。这是目前最主流、最干净的管理方式强烈推荐。手动脚本切换编写简单的shell脚本用于切换CUDA_HOME和更新PATH、LD_LIBRARY_PATH。虽然原始但对于固定使用一两个版本的情况也够用。整个配置过程尤其是在银河麒麟这样的系统上是对耐心和排查问题能力的考验。核心诀窍就是版本匹配、日志排查、环境隔离。每次操作前想清楚每一步的目的和可能的影响做好关键步骤的备份如原始的xorg.conf就能在遇到问题时快速回滚。当看到torch.cuda.is_available()终于亮起绿灯所有的折腾都是值得的。