AI芯片这个关键词最近热度很高不少讨论集中在公司估值、流片进度和算力数字上但如果把视角切到开发者一侧真正决定芯片能不能落地的其实是软件栈尤其是“AI芯片驱动开发”这条链路。一颗 AI 加速芯片从裸片到能被上层框架调用中间隔着指令集、内核驱动、用户态运行时、算子库和编译器。本文不讨论某家公司或某款芯片的具体参数而是从工程可复现的角度演示在没有真实硬件时如何通过模拟器、内核模块和用户态 runtime把一个虚拟 NPU 从零搭起来并跑通一次矩阵乘法。读者可以在阅读后得到两样东西一是对 AI 芯片软件栈的整体认知知道驱动程序在芯片体系中处于哪个位置二是可以直接编译运行的最小实验环境包含内核驱动、用户态封装库和验证程序。这套实验不依赖昂贵开发板只需要一台普通 Linux 主机和内核头文件重点是理解“应用程序 - 运行时 - 内核驱动 - 硬件模拟器”这条完整链路。1. 先理解 AI 芯片开发为什么绕不开驱动和工具链1.1 新闻里的 AI 芯片与开发者眼中的 AI 芯片是两回事估值 223 亿元的创业故事让人首先想到硬件、流片、制程、算力但实际开发者在接触一颗 AI 芯片时拿到手的往往不是电路图而是一套 SDK。这套 SDK 里最底层的就是驱动程序驱动负责把上层的计算请求翻译成芯片能理解的寄存器写入、内存搬运和指令触发。没有驱动芯片就像一块无法访问的设备编译器生成的指令也无法执行。一颗 AI 芯片的软件栈通常分成五层层次职责示例应用层调用原子能力如矩阵乘、卷积PyTorch、TFLite、自研推理引擎运行时层管理显存、任务队列、设备句柄CUDA Runtime、ROCm、厂商 runtime算子库层把算子实现拆解成硬件指令cuBLAS、cuDNN、自研算子库内核驱动层设备访问、中断处理、DMA 搬运Linux kernel module、UIO、vfio硬件层执行矩阵运算、卷积、向量运算NPU、GPU、FPGA 加速卡常见误区是把“驱动开发”理解为写一个能 open、read、write 的字符设备。实际 AI 芯片驱动比普通设备驱动复杂得多它需要处理命令队列、内存 pin 住、多级中断、多进程并发、电源管理和固件加载。不过这些复杂机制的基础仍然是最经典的设备模型、file_operations、mmap 和 ioctl。本文从这个基础开始搭建一个可扩展的骨架后续再逐步增加 DMA、中断等机制。1.2 没有实体芯片时如何把驱动开发学起来很多开发者想学 AI 芯片驱动但手边没有开发板也不想承担硬件成本。替代方案是用模拟器。模拟器不需要真实电路只要能响应寄存器读写、模拟计算行为、返回结果即可。学习路径可以这样设计在内核模块中注册一个虚拟字符设备模拟 NPU 的设备节点。通过 ioctl 模拟指令下发通过 read/write 模拟数据搬运。在用户态写一个计算模拟器用 CPU 代码模拟矩阵乘扮演“硬件计算单元”。用封装好的 runtime 库统一接口让上层代码不感知硬件是真实芯片还是模拟器。这样做的优点是不需要采购硬件代码逻辑和真实驱动相似而且每一步都可以通过日志和返回值验证。缺点也同样明显模拟器不涉及真实寄存器的时序、DMA 延迟、中断竞争所以文章和代码中会明确标注“学习环境”与“生产环境”的差异。把这套实验跑通之后再转向真实开发板成本和阻力会小很多。2. 搭建学习环境用虚拟 NPU 模拟器跑通最小软件栈2.1 环境要求与检查命令实验环境建议使用 Linux 内核 5.4 或更高版本。需要保证内核头文件已经安装编译器可以工作。以下命令用于快速检查uname -r gcc --version make --version ls /lib/modules/$(uname -r)/build如果/lib/modules/$(uname -r)/build目录不存在需要安装内核开发包。不同发行版命令不同发行版安装命令Ubuntu / Debiansudo apt install linux-headers-$(uname -r)CentOS / Rockysudo yum install kernel-devel kernel-headersFedorasudo dnf install kernel-developenSUSEsudo zypper install kernel-devel检查设备的编译环境是否完整可以尝试编译一个最小 Hello World 模块。不过本文后面会直接给出完整模块编译时如果报错优先检查内核头文件版本是否与当前内核一致。2.2 项目目录结构在一个普通用户目录下创建实验项目目录结构如下virtual-npu/ ├── Makefile ├── vnpu.c ├── libnpu.c ├── libnpu.h ├── test_npu.c └── README.mdvnpu.c是内核驱动模块注册虚拟 NPU 设备提供 open、read、write、ioctl 接口。libnpu.c和libnpu.h是用户态运行时封装隐藏设备访问细节提供矩阵乘法 API。test_npu.c是验证程序调用npu_matmul完成一次矩阵乘法并检查结果。Makefile负责编译内核模块和用户态程序。2.3 为什么选择字符设备而不是真实 PCIe 设备真实 AI 加速卡通常挂在 PCIe 总线上驱动需要注册 PCI 驱动、处理 BAR 空间、配置 DMA 和 MSI 中断。学习阶段如果直接写 PCIe 驱动调试门槛太高。字符设备配合 miscdevice 框架是最简单的 Linux 设备驱动模型可以快速创建一个/dev/vnpu0节点让上层业务先跑起来。两种路径的对比维度虚拟字符设备真实 PCIe 设备注册方式misc_registerpci_register_driver硬件访问内存模拟ioremap readl/writel中断不需要request_irq内存搬运copy_from_userDMA 映射学习成本低高能否跑通矩阵乘能能但硬件依赖多学习阶段先选低成本的方案重点是打通软件链路。生产环境要按真实总线模型重写设备绑定逻辑这一区别在最终章节会展开说明。3. 最小实现一个可读可写的虚拟 NPU 驱动3.1 驱动设计思路驱动内部维护一个vnpu_device结构体包含数据缓冲区、状态字段和统计信息。上层通过 ioctl 下发控制命令通过 read/write 写入输入数据和读取输出结果。为了模拟真实芯片的“计算耗时”ioctl 的启动命令会让驱动短暂休眠一段时间再更新状态。这是教学模拟不代表真实芯片的延迟模型。核心接口定义如下#define NPU_IOCTL_MAGIC N #define NPU_IOCTL_RESET _IO(NPU_IOCTL_MAGIC, 0) #define NPU_IOCTL_START _IO(NPU_IOCTL_MAGIC, 1) #define NPU_IOCTL_STATUS _IOR(NPU_IOCTL_MAGIC, 2, int) #define NPU_IOCTL_STATS _IOR(NPU_IOCTL_MAGIC, 3, struct vnpu_stats)NPU_IOCTL_START表示启动一次计算。NPU_IOCTL_STATUS查询设备状态。NPU_IOCTL_STATS返回设备累计计算次数。3.2 内核模块核心代码下面是vnpu.c的完整可编译版本已在 5.10 内核验证思路实际编译时请根据内核版本微调。#include linux/module.h #include linux/kernel.h #include linux/fs.h #include linux/miscdevice.h #include linux/uaccess.h #include linux/slab.h #include linux/delay.h #include linux/mutex.h #define VNPU_DEV_NAME vnpu0 #define VNPU_BUF_SIZE 4096 #define NPU_IOCTL_MAGIC N #define NPU_IOCTL_RESET _IO(NPU_IOCTL_MAGIC, 0) #define NPU_IOCTL_START _IO(NPU_IOCTL_MAGIC, 1) #define NPU_IOCTL_STATUS _IOR(NPU_IOCTL_MAGIC, 2, int) #define NPU_IOCTL_STATS _IOR(NPU_IOCTL_MAGIC, 3, struct vnpu_stats) struct vnpu_stats { unsigned long total_commands; unsigned long total_bytes; }; struct vnpu_device { char *buf; size_t buf_size; int status; struct mutex lock; struct vnpu_stats stats; }; static struct vnpu_device vnpu_dev; static int vnpu_open(struct inode *inode, struct file *file) { return 0; } static ssize_t vnpu_read(struct file *file, char __user *user_buf, size_t count, loff_t *ppos) { ssize_t ret; if (count vnpu_dev.buf_size - *ppos) count vnpu_dev.buf_size - *ppos; mutex_lock(vnpu_dev.lock); ret simple_read_from_buffer(user_buf, count, ppos, vnpu_dev.buf, vnpu_dev.buf_size); mutex_unlock(vnpu_dev.lock); return ret; } static ssize_t vnpu_write(struct file *file, const char __user *user_buf, size_t count, loff_t *ppos) { ssize_t ret; if (count vnpu_dev.buf_size - *ppos) count vnpu_dev.buf_size - *ppos; mutex_lock(vnpu_dev.lock); ret simple_write_to_buffer(vnpu_dev.buf, vnpu_dev.buf_size, ppos, user_buf, count); vnpu_dev.stats.total_bytes ret; mutex_unlock(vnpu_dev.lock); return ret; } static long vnpu_ioctl(struct file *file, unsigned int cmd, unsigned long arg) { long ret 0; mutex_lock(vnpu_dev.lock); switch (cmd) { case NPU_IOCTL_RESET: vnpu_dev.status 0; vnpu_dev.stats.total_commands 0; break; case NPU_IOCTL_START: vnpu_dev.status 1; vnpu_dev.stats.total_commands; mutex_unlock(vnpu_dev.lock); msleep(10); mutex_lock(vnpu_dev.lock); vnpu_dev.status 2; break; case NPU_IOCTL_STATUS: if (copy_to_user((int __user *)arg, vnpu_dev.status, sizeof(int))) { ret -EFAULT; } break; case NPU_IOCTL_STATS: if (copy_to_user((struct vnpu_stats __user *)arg, vnpu_dev.stats, sizeof(struct vnpu_stats))) { ret -EFAULT; } break; default: ret -ENOTTY; break; } mutex_unlock(vnpu_dev.lock); return ret; } static const struct file_operations vnpu_fops { .owner THIS_MODULE, .open vnpu_open, .read vnpu_read, .write vnpu_write, .unlocked_ioctl vnpu_ioctl, }; static struct miscdevice vnpu_misc { .minor MISC_DYNAMIC_MINOR, .name VNPU_DEV_NAME, .fops vnpu_fops, }; static int __init vnpu_init(void) { int ret; memset(vnpu_dev, 0, sizeof(vnpu_dev)); vnpu_dev.buf kzalloc(VNPU_BUF_SIZE, GFP_KERNEL); if (!vnpu_dev.buf) return -ENOMEM; vnpu_dev.buf_size VNPU_BUF_SIZE; mutex_init(vnpu_dev.lock); ret misc_register(vnpu_misc); if (ret) { kfree(vnpu_dev.buf); pr_err(vnpu: misc_register failed, ret%d\n, ret); return ret; } pr_info(vnpu: virtual NPU device registered\n); return 0; } static void __exit vnpu_exit(void) { misc_deregister(vnpu_misc); kfree(vnpu_dev.buf); mutex_destroy(vnpu_dev.lock); pr_info(vnpu: device unregistered\n); } module_init(vnpu_init); module_exit(vnpu_exit); MODULE_LICENSE(GPL); MODULE_AUTHOR(Virtual NPU Lab); MODULE_DESCRIPTION(Virtual NPU driver for learning AI chip software stack);关键点如下misc_register会自动在/dev下创建设备节点省去手动mknod。simple_read_from_buffer和simple_write_to_buffer负责用户态与内核态之间的缓冲区拷贝避免重复实现边界检查。NPU_IOCTL_START中先解锁再msleep模拟设备执行耗时。这里刻意避免在持锁状态下休眠否则其他进程访问设备时会被长时间阻塞。copy_to_user的返回值必须检查失败时返回-EFAULT避免用户态拿到错误状态。-ENOTTY是 ioctl 不支持该命令时常用的错误码用户态调用失败时可以通过perror看到 “Inappropriate ioctl for device”。3.3 Makefile 与编译加载Makefile 同时编译内核模块和用户态程序obj-m : vnpu.o KERNEL_DIR ? /lib/modules/$(shell uname -r)/build all: make -C $(KERNEL_DIR) M$(PWD) modules gcc -Wall -o test_npu test_npu.c libnpu.c clean: make -C $(KERNEL_DIR) M$(PWD) clean rm -f test_npu编译并加载模块make sudo insmod vnpu.ko lsmod | grep vnpu ls -l /dev/vnpu0预期输出类似crw------- 1 root root 10, 123 May 1 10:00 /dev/vnpu0设备节点存在后用dmesg | tail查看内核打印[12345.678901] vnpu: virtual NPU device registered如果misc_register失败通常是模块重复加载或者设备编号冲突。可以先查看内核日志再决定是否需要rmmod vnpu后重新加载。4. 把矩阵乘法送入芯片从算法到指令到运行时4.1 为什么矩阵乘法是 AI 芯片的核心计算神经网络中的卷积、全连接、注意力机制最终都会映射为大量矩阵乘法。AI 芯片在设计时往往围绕矩阵乘单元做架构优化。对驱动开发者来说理解矩阵乘的映射方式很重要因为指令设计、内存布局和数据搬运方式都围绕它展开。学习阶段可以把矩阵乘法拆成三个动作把输入矩阵 A 和 B 写入设备缓冲区。启动计算指令模拟芯片执行。从设备缓冲区读回结果矩阵 C。4.2 用户态运行时封装libnpu.h对外提供两个接口#ifndef LIBNPU_H #define LIBNPU_H #include stddef.h int npu_matmul(const float *A, const float *B, float *C, int M, int N, int K); #endiflibnpu.c负责打开设备、写入输入数据、下发启动命令、读取结果、关闭设备。为了模拟真实芯片行为库内部用 CPU 代码完成矩阵乘计算同时通过 ioctl 通知驱动记录统计信息。编码方式直接使用 IEEE 754 单精度浮点满足学习验证即可。#include stdio.h #include stdlib.h #include string.h #include fcntl.h #include unistd.h #include sys/ioctl.h #include libnpu.h #define DEVICE_PATH /dev/vnpu0 #define NPU_IOCTL_MAGIC N #define NPU_IOCTL_RESET _IO(NPU_IOCTL_MAGIC, 0) #define NPU_IOCTL_START _IO(NPU_IOCTL_MAGIC, 1) #define NPU_IOCTL_STATUS _IOR(NPU_IOCTL_MAGIC, 2, int) #define NPU_IOCTL_STATS _IOR(NPU_IOCTL_MAGIC, 3, struct vnpu_stats) struct vnpu_stats { unsigned long total_commands; unsigned long total_bytes; }; static void matrix_multiply_cpu(const float *A, const float *B, float *C, int M, int N, int K) { for (int i 0; i M; i) { for (int j 0; j N; j) { float sum 0.0f; for (int p 0; p K; p) { sum A[i * K p] * B[p * N j]; } C[i * N j] sum; } } } int npu_matmul(const float *A, const float *B, float *C, int M, int N, int K) { int fd; int ret 0; int status 0; size_t bytes_a (size_t)M * K * sizeof(float); size_t bytes_b (size_t)K * N * sizeof(float); size_t bytes_c (size_t)M * N * sizeof(float); float *inbuf NULL; size_t total bytes_a bytes_b bytes_c; if (total 4096) { fprintf(stderr, npu_matmul: buffer size exceeded, use smaller matrix\n); return -1; } fd open(DEVICE_PATH, O_RDWR); if (fd 0) { perror(open /dev/vnpu0); return -1; } inbuf (float *)malloc(total); if (!inbuf) { close(fd); return -1; } memcpy(inbuf, A, bytes_a); memcpy(inbuf (size_t)M * K, B, bytes_b); if (write(fd, inbuf, total) ! (ssize_t)total) { perror(write input to vnpu); ret -1; goto out; } matrix_multiply_cpu(A, B, C, M, N, K); if (ioctl(fd, NPU_IOCTL_START) 0) { perror(ioctl start); ret -1; goto out; } if (ioctl(fd, NPU_IOCTL_STATUS, status) 0) { perror(ioctl status); ret -1; goto out; } if (status ! 2) { fprintf(stderr, npu_matmul: unexpected device status %d\n, status); ret -1; goto out; } if (read(fd, inbuf, total) ! (ssize_t)total) { perror(read output from vnpu); ret -1; goto out; } memcpy(C, inbuf (size_t)M * K (size_t)K * N, bytes_c); out: free(inbuf); close(fd); return ret; }这段代码的关键逻辑先写输入数据再启动计算最后读回结果对应真实 AI 芯片的“搬运数据 - 启动执行 - 回读结果”流程。缓冲区总大小限制为 4096 字节和内核模块中定义的VNPU_BUF_SIZE保持一致。如果矩阵尺寸超过限制库会直接报错。计算结果由 CPU 模拟器生成驱动本身并不计算。真实芯片中计算单元是硬件模块驱动只负责调度。ioctl(fd, NPU_IOCTL_START)会阻塞约 10 毫秒模拟设备执行耗时。真实驱动通常使用异步队列不会让应用层直接等待 10 毫秒但阻塞模型更方便学习。4.3 指令编码的入门概念真实 AI 芯片驱动会使用指令描述符描述一次计算指令描述符通常包含字段含义示例值opcode操作类型LOAD_A,LOAD_B,MATMUL,STORE_Csrc_addr源地址输入缓冲区物理地址dst_addr目的地址输出缓冲区物理地址M / N / K矩阵维度4 / 4 / 4data_type数据类型FP32,FP16,INT8在虚拟实验中这些信息通过 ioctl 参数传递或者直接硬编码在库中。如果你想扩展实验可以在 ioctl 中增加一个struct npu_command把矩阵维度、算子和数据地址传下去让驱动做更精细的调度。5. 如何验证“芯片真的算了”设备节点、内核日志和用户态测试5.1 编写用户态测试程序test_npu.c使用 4x4 矩阵调用libnpu提供的接口然后逐项比对结果。#include stdio.h #include math.h #include libnpu.h #define M 4 #define N 4 #define K 4 static void print_matrix(const char *name, const float *mat, int rows, int cols) { printf(%s:\n, name); for (int i 0; i rows; i) { for (int j 0; j cols; j) { printf(%8.2f , mat[i * cols j]); } printf(\n); } } static int compare_matrix(const float *got, const float *want, int rows, int cols) { int errors 0; for (int i 0; i rows * cols; i) { if (fabsf(got[i] - want[i]) 1e-3f) { printf(mismatch at %d: got%f want%f\n, i, got[i], want[i]); errors; } } return errors; } int main(void) { float A[M * K] { 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16 }; float B[K * N] { 1, 0, 0, 0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 0, 0, 1 }; float C[M * N] {0}; float expect[M * N] { 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16 }; if (npu_matmul(A, B, C, M, N, K) ! 0) { printf(npu_matmul failed\n); return 1; } print_matrix(A, A, M, K); print_matrix(B, B, K, N); print_matrix(C, C, M, N); if (compare_matrix(C, expect, M, N) ! 0) { printf(result check FAILED\n); return 1; } printf(result check PASSED\n); return 0; }运行程序./test_npu预期输出包括矩阵打印和最终判定A: 1.00 2.00 3.00 4.00 5.00 6.00 7.00 8.00 9.00 10.00 11.00 12.00 13.00 14.00 15.00 16.00 B: 1.00 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 1.00 C: 1.00 2.00 3.00 4.00 5.00 6.00 7.00 8.00 9.00 10.00 11.00 12.00 13.00 14.00 15.00 16.00 result check PASSED这里选择单位矩阵作为 B这样期望结果可以直接复用 A 的值不需要手工算矩阵乘法降低验证成本。5.2 通过内核日志和统计信息确认设备状态用户态程序只证明用户态链路通还需要通过内核日志确认驱动确实被调用过。dmesg | tail -n 20如果驱动被正确加载会看到注册信息。为了确认 ioctl 调用确实进入内核可以在驱动中临时加入pr_info但这需要重编模块。更轻量的做法是在用户态写一个小工具查询统计信息。在test_npu.c或单独工具中可以加入struct vnpu_stats stats; int fd open(/dev/vnpu0, O_RDWR); if (fd 0 ioctl(fd, NPU_IOCTL_STATS, stats) 0) { printf(total_commands%lu total_bytes%lu\n, stats.total_commands, stats.total_bytes); } close(fd);运行后应该看到total_commands至少为 1total_bytes等于写入缓冲区的字节数。这一步能够把“驱动被调用”从“程序正常退出”中区分出来避免用户态模拟器悄悄计算结果而驱动根本没参与。5.3 验证过程中常用的检查命令检查项命令预期结果模块是否加载lsmod | grep vnpu出现vnpu设备节点是否存在ls -l /dev/vnpu0字符设备节点存在内核日志dmesg | grep vnpu注册成功信息驱动是否占用内存cat /proc/modules | grep vnpu模块记录存在设备主次编号cat /proc/misc | grep vnpu0显示次设备号如果设备节点不存在但模块注册成功可能是 udev 规则问题也可以手动挂载 devtmpfs但一般情况下不需要。6. 驱动开发常见问题排查按现象找根因6.1 模块编译失败缺少内核头文件或版本不匹配现象make: *** /lib/modules/5.10.0-xxx/build: No such file or directory. Stop.原因没有安装内核开发包。内核头文件与当前运行内核版本不一致。Makefile 中KERNEL_DIR指向了错误路径。排查顺序运行uname -r确认当前内核版本。运行ls /lib/modules/$(uname -r)/build确认路径存在。检查/lib/modules/$(uname -r)/build/Makefile是否存在。如果路径不存在按发行版安装对应kernel-devel。6.2 加载模块报错模块已存在或设备号冲突现象insmod: ERROR: could not insert module vnpu.ko: File exists原因上一次测试没有卸载模块。有同名模块被系统加载。解决sudo rmmod vnpu sudo insmod vnpu.ko dmesg | tail如果rmmod提示模块被占用说明还有进程持有设备节点需要先关闭测试程序或找到对应进程。6.3 用户态 ioctl 返回 Inappropriate ioctl for device现象ioctl start: Inappropriate ioctl for device原因用户态头文件和内核模块的头文件定义不一致。_IO宏生成号码不一致常见于MAGIC重复或NR冲突。设备节点指向了错误驱动。排查方式确认用户态程序和内核模块中的NPU_IOCTL_MAGIC一致。确认打开的设备路径是/dev/vnpu0。用cat /proc/misc查看次设备号。真实项目中内核模块和用户态库的 ioctl 定义常常存在重复建议统一维护在一个公共头文件中避免手写两套。6.4 写入数据后读回结果不正确现象测试程序退出正常。对比矩阵时出现 mismatch。输出矩阵全部为 0或者数据错位。可能原因写入缓冲区时矩阵拼接顺序错误。读取结果时偏移不对。用户态与内核态之间字节序不一致。排查方式先打印写出的缓冲区开头 16 字节确认 A 和 B 的顺序。打印读回缓冲区确认偏移位置。把内核缓冲区大小VNPU_BUF_SIZE调大一倍排除缓冲区截断问题。对于浮点数据还需要注意精度问题。真实 AI 计算对精度要求高学习环境使用float做对比时要设置合理误差阈值不要用精确比较。6.5 设备统计信息不增长现象多次调用npu_matmul。查询total_commands始终为 0。可能原因测试程序没有真正打开/dev/vnpu0。权限不足open 返回-EACCES。用户态库在打开设备前发生了提前退出。排查方式在测试程序里显式打印open返回值。用sudo ./test_npu尝试一次排除权限问题。内核模块中在 ioctl 分支里增加pr_info输出重新编译后查看 dmesg。6.6 常用排错清单优先级检查项对应命令或操作1内核版本uname -r2模块是否加载lsmod | grep vnpu3设备节点ls -l /dev/vnpu04用户态程序是否有权限sudo ./test_npu5ioctl 定义是否一致对比NPU_IOCTL_*宏6缓冲区偏移是否正确打印写入/读回内存7内核日志dmesg | tail -n 508驱动是否有内存泄漏cat /proc/slabinfo或free -m7. 从虚拟设备到真实 AI 芯片值得坚持的扩展方向7.1 学习环境与生产环境的差异上面的虚拟实验把许多复杂机制简化了真实 AI 芯片驱动开发还需要额外关注维度学习环境生产环境设备发现miscdevice 自动注册PCIe 或 platform 总线 probe内存访问内核内存模拟ioremap 物理内存分配数据搬运copy_from_userDMA 映射 一致性管理并发控制mutex 串行多队列 多进程调度中断无request_irq / threaded irq固件加载无启动时加载固件到内部 SRAM日志pr_info 简单输出tracepoint ftrace 独立日志系统测试单进程用户态验证压力测试 故障注入建议在完成虚拟实验后再进入真实开发板或 QEMU 的 PCIe 模拟环境逐步增加 DMA 和中断。不要停留在“字符设备能跑矩阵乘”这个阶段。7.2 建立可复用的驱动开发检查清单在开始一个 AI 芯片驱动之前建议先回答以下问题硬件挂在哪条总线上PCIe、AMBA、还是自定义总线是否有 BAR 空间寄存器偏移表在哪里计算指令是内存映射还是消息队列输入输出缓冲区如何分配是否需要物理连续内存一次计算是否耗时可估计驱动用阻塞同步还是异步通知多进程访问时队列和上下文如何隔离固件怎么加载失败后的回退策略是什么错误状态如何上报是否有独立错误中断用什么工具验证用户态是否有可对拍的 CPU 实现如何做性能测试数据搬运时间占整个计算时间的比例是多少这些问题没有统一答案不同芯片设计差异很大。但提前把清单列出来能够有效避免“驱动写完了设备却一直不工作”的窘境。7.3 推荐的学习路径与实验深度如果目标是进入真实 AI 芯片软件栈可以按以下阶段安排学习本文的虚拟 NPU 实验理解字符设备、ioctl、用户态 runtime 的配合。深入学习 Linux 设备模型platform_driver、device tree、资源获取。学习中断处理tasklet、workqueue、threaded irq理解下半部机制。学习 DMA 子系统dma_alloc_coherent、dma_map_single、DMA 方向。学习 PCIe 驱动框架pci_register_driver、resource 读取、MSI-X。结合编译器与运行时了解从 ONNX 到指令的编译流程理解驱动之上的一层。选择一款开源模拟器或真实开发板完成一个真实算子。每一步都尽量留一个可运行示例。内核驱动开发最容易出现的错误是“概念懂了但代码无法编译”因此所有学习阶段都要配套完整工程代码不要只摘抄片段。本文的虚拟 NPU 实验就是一个很好的起点后续可以把它扩展成多队列调度器、加入 DMA 模拟、增加中断请求逐步逼近真实驱动的复杂度。 从零搭建虚拟NPU：手把手实现AI芯片驱动与矩阵乘法
AI芯片这个关键词最近热度很高不少讨论集中在公司估值、流片进度和算力数字上但如果把视角切到开发者一侧真正决定芯片能不能落地的其实是软件栈尤其是“AI芯片驱动开发”这条链路。一颗 AI 加速芯片从裸片到能被上层框架调用中间隔着指令集、内核驱动、用户态运行时、算子库和编译器。本文不讨论某家公司或某款芯片的具体参数而是从工程可复现的角度演示在没有真实硬件时如何通过模拟器、内核模块和用户态 runtime把一个虚拟 NPU 从零搭起来并跑通一次矩阵乘法。读者可以在阅读后得到两样东西一是对 AI 芯片软件栈的整体认知知道驱动程序在芯片体系中处于哪个位置二是可以直接编译运行的最小实验环境包含内核驱动、用户态封装库和验证程序。这套实验不依赖昂贵开发板只需要一台普通 Linux 主机和内核头文件重点是理解“应用程序 - 运行时 - 内核驱动 - 硬件模拟器”这条完整链路。1. 先理解 AI 芯片开发为什么绕不开驱动和工具链1.1 新闻里的 AI 芯片与开发者眼中的 AI 芯片是两回事估值 223 亿元的创业故事让人首先想到硬件、流片、制程、算力但实际开发者在接触一颗 AI 芯片时拿到手的往往不是电路图而是一套 SDK。这套 SDK 里最底层的就是驱动程序驱动负责把上层的计算请求翻译成芯片能理解的寄存器写入、内存搬运和指令触发。没有驱动芯片就像一块无法访问的设备编译器生成的指令也无法执行。一颗 AI 芯片的软件栈通常分成五层层次职责示例应用层调用原子能力如矩阵乘、卷积PyTorch、TFLite、自研推理引擎运行时层管理显存、任务队列、设备句柄CUDA Runtime、ROCm、厂商 runtime算子库层把算子实现拆解成硬件指令cuBLAS、cuDNN、自研算子库内核驱动层设备访问、中断处理、DMA 搬运Linux kernel module、UIO、vfio硬件层执行矩阵运算、卷积、向量运算NPU、GPU、FPGA 加速卡常见误区是把“驱动开发”理解为写一个能 open、read、write 的字符设备。实际 AI 芯片驱动比普通设备驱动复杂得多它需要处理命令队列、内存 pin 住、多级中断、多进程并发、电源管理和固件加载。不过这些复杂机制的基础仍然是最经典的设备模型、file_operations、mmap 和 ioctl。本文从这个基础开始搭建一个可扩展的骨架后续再逐步增加 DMA、中断等机制。1.2 没有实体芯片时如何把驱动开发学起来很多开发者想学 AI 芯片驱动但手边没有开发板也不想承担硬件成本。替代方案是用模拟器。模拟器不需要真实电路只要能响应寄存器读写、模拟计算行为、返回结果即可。学习路径可以这样设计在内核模块中注册一个虚拟字符设备模拟 NPU 的设备节点。通过 ioctl 模拟指令下发通过 read/write 模拟数据搬运。在用户态写一个计算模拟器用 CPU 代码模拟矩阵乘扮演“硬件计算单元”。用封装好的 runtime 库统一接口让上层代码不感知硬件是真实芯片还是模拟器。这样做的优点是不需要采购硬件代码逻辑和真实驱动相似而且每一步都可以通过日志和返回值验证。缺点也同样明显模拟器不涉及真实寄存器的时序、DMA 延迟、中断竞争所以文章和代码中会明确标注“学习环境”与“生产环境”的差异。把这套实验跑通之后再转向真实开发板成本和阻力会小很多。2. 搭建学习环境用虚拟 NPU 模拟器跑通最小软件栈2.1 环境要求与检查命令实验环境建议使用 Linux 内核 5.4 或更高版本。需要保证内核头文件已经安装编译器可以工作。以下命令用于快速检查uname -r gcc --version make --version ls /lib/modules/$(uname -r)/build如果/lib/modules/$(uname -r)/build目录不存在需要安装内核开发包。不同发行版命令不同发行版安装命令Ubuntu / Debiansudo apt install linux-headers-$(uname -r)CentOS / Rockysudo yum install kernel-devel kernel-headersFedorasudo dnf install kernel-developenSUSEsudo zypper install kernel-devel检查设备的编译环境是否完整可以尝试编译一个最小 Hello World 模块。不过本文后面会直接给出完整模块编译时如果报错优先检查内核头文件版本是否与当前内核一致。2.2 项目目录结构在一个普通用户目录下创建实验项目目录结构如下virtual-npu/ ├── Makefile ├── vnpu.c ├── libnpu.c ├── libnpu.h ├── test_npu.c └── README.mdvnpu.c是内核驱动模块注册虚拟 NPU 设备提供 open、read、write、ioctl 接口。libnpu.c和libnpu.h是用户态运行时封装隐藏设备访问细节提供矩阵乘法 API。test_npu.c是验证程序调用npu_matmul完成一次矩阵乘法并检查结果。Makefile负责编译内核模块和用户态程序。2.3 为什么选择字符设备而不是真实 PCIe 设备真实 AI 加速卡通常挂在 PCIe 总线上驱动需要注册 PCI 驱动、处理 BAR 空间、配置 DMA 和 MSI 中断。学习阶段如果直接写 PCIe 驱动调试门槛太高。字符设备配合 miscdevice 框架是最简单的 Linux 设备驱动模型可以快速创建一个/dev/vnpu0节点让上层业务先跑起来。两种路径的对比维度虚拟字符设备真实 PCIe 设备注册方式misc_registerpci_register_driver硬件访问内存模拟ioremap readl/writel中断不需要request_irq内存搬运copy_from_userDMA 映射学习成本低高能否跑通矩阵乘能能但硬件依赖多学习阶段先选低成本的方案重点是打通软件链路。生产环境要按真实总线模型重写设备绑定逻辑这一区别在最终章节会展开说明。3. 最小实现一个可读可写的虚拟 NPU 驱动3.1 驱动设计思路驱动内部维护一个vnpu_device结构体包含数据缓冲区、状态字段和统计信息。上层通过 ioctl 下发控制命令通过 read/write 写入输入数据和读取输出结果。为了模拟真实芯片的“计算耗时”ioctl 的启动命令会让驱动短暂休眠一段时间再更新状态。这是教学模拟不代表真实芯片的延迟模型。核心接口定义如下#define NPU_IOCTL_MAGIC N #define NPU_IOCTL_RESET _IO(NPU_IOCTL_MAGIC, 0) #define NPU_IOCTL_START _IO(NPU_IOCTL_MAGIC, 1) #define NPU_IOCTL_STATUS _IOR(NPU_IOCTL_MAGIC, 2, int) #define NPU_IOCTL_STATS _IOR(NPU_IOCTL_MAGIC, 3, struct vnpu_stats)NPU_IOCTL_START表示启动一次计算。NPU_IOCTL_STATUS查询设备状态。NPU_IOCTL_STATS返回设备累计计算次数。3.2 内核模块核心代码下面是vnpu.c的完整可编译版本已在 5.10 内核验证思路实际编译时请根据内核版本微调。#include linux/module.h #include linux/kernel.h #include linux/fs.h #include linux/miscdevice.h #include linux/uaccess.h #include linux/slab.h #include linux/delay.h #include linux/mutex.h #define VNPU_DEV_NAME vnpu0 #define VNPU_BUF_SIZE 4096 #define NPU_IOCTL_MAGIC N #define NPU_IOCTL_RESET _IO(NPU_IOCTL_MAGIC, 0) #define NPU_IOCTL_START _IO(NPU_IOCTL_MAGIC, 1) #define NPU_IOCTL_STATUS _IOR(NPU_IOCTL_MAGIC, 2, int) #define NPU_IOCTL_STATS _IOR(NPU_IOCTL_MAGIC, 3, struct vnpu_stats) struct vnpu_stats { unsigned long total_commands; unsigned long total_bytes; }; struct vnpu_device { char *buf; size_t buf_size; int status; struct mutex lock; struct vnpu_stats stats; }; static struct vnpu_device vnpu_dev; static int vnpu_open(struct inode *inode, struct file *file) { return 0; } static ssize_t vnpu_read(struct file *file, char __user *user_buf, size_t count, loff_t *ppos) { ssize_t ret; if (count vnpu_dev.buf_size - *ppos) count vnpu_dev.buf_size - *ppos; mutex_lock(vnpu_dev.lock); ret simple_read_from_buffer(user_buf, count, ppos, vnpu_dev.buf, vnpu_dev.buf_size); mutex_unlock(vnpu_dev.lock); return ret; } static ssize_t vnpu_write(struct file *file, const char __user *user_buf, size_t count, loff_t *ppos) { ssize_t ret; if (count vnpu_dev.buf_size - *ppos) count vnpu_dev.buf_size - *ppos; mutex_lock(vnpu_dev.lock); ret simple_write_to_buffer(vnpu_dev.buf, vnpu_dev.buf_size, ppos, user_buf, count); vnpu_dev.stats.total_bytes ret; mutex_unlock(vnpu_dev.lock); return ret; } static long vnpu_ioctl(struct file *file, unsigned int cmd, unsigned long arg) { long ret 0; mutex_lock(vnpu_dev.lock); switch (cmd) { case NPU_IOCTL_RESET: vnpu_dev.status 0; vnpu_dev.stats.total_commands 0; break; case NPU_IOCTL_START: vnpu_dev.status 1; vnpu_dev.stats.total_commands; mutex_unlock(vnpu_dev.lock); msleep(10); mutex_lock(vnpu_dev.lock); vnpu_dev.status 2; break; case NPU_IOCTL_STATUS: if (copy_to_user((int __user *)arg, vnpu_dev.status, sizeof(int))) { ret -EFAULT; } break; case NPU_IOCTL_STATS: if (copy_to_user((struct vnpu_stats __user *)arg, vnpu_dev.stats, sizeof(struct vnpu_stats))) { ret -EFAULT; } break; default: ret -ENOTTY; break; } mutex_unlock(vnpu_dev.lock); return ret; } static const struct file_operations vnpu_fops { .owner THIS_MODULE, .open vnpu_open, .read vnpu_read, .write vnpu_write, .unlocked_ioctl vnpu_ioctl, }; static struct miscdevice vnpu_misc { .minor MISC_DYNAMIC_MINOR, .name VNPU_DEV_NAME, .fops vnpu_fops, }; static int __init vnpu_init(void) { int ret; memset(vnpu_dev, 0, sizeof(vnpu_dev)); vnpu_dev.buf kzalloc(VNPU_BUF_SIZE, GFP_KERNEL); if (!vnpu_dev.buf) return -ENOMEM; vnpu_dev.buf_size VNPU_BUF_SIZE; mutex_init(vnpu_dev.lock); ret misc_register(vnpu_misc); if (ret) { kfree(vnpu_dev.buf); pr_err(vnpu: misc_register failed, ret%d\n, ret); return ret; } pr_info(vnpu: virtual NPU device registered\n); return 0; } static void __exit vnpu_exit(void) { misc_deregister(vnpu_misc); kfree(vnpu_dev.buf); mutex_destroy(vnpu_dev.lock); pr_info(vnpu: device unregistered\n); } module_init(vnpu_init); module_exit(vnpu_exit); MODULE_LICENSE(GPL); MODULE_AUTHOR(Virtual NPU Lab); MODULE_DESCRIPTION(Virtual NPU driver for learning AI chip software stack);关键点如下misc_register会自动在/dev下创建设备节点省去手动mknod。simple_read_from_buffer和simple_write_to_buffer负责用户态与内核态之间的缓冲区拷贝避免重复实现边界检查。NPU_IOCTL_START中先解锁再msleep模拟设备执行耗时。这里刻意避免在持锁状态下休眠否则其他进程访问设备时会被长时间阻塞。copy_to_user的返回值必须检查失败时返回-EFAULT避免用户态拿到错误状态。-ENOTTY是 ioctl 不支持该命令时常用的错误码用户态调用失败时可以通过perror看到 “Inappropriate ioctl for device”。3.3 Makefile 与编译加载Makefile 同时编译内核模块和用户态程序obj-m : vnpu.o KERNEL_DIR ? /lib/modules/$(shell uname -r)/build all: make -C $(KERNEL_DIR) M$(PWD) modules gcc -Wall -o test_npu test_npu.c libnpu.c clean: make -C $(KERNEL_DIR) M$(PWD) clean rm -f test_npu编译并加载模块make sudo insmod vnpu.ko lsmod | grep vnpu ls -l /dev/vnpu0预期输出类似crw------- 1 root root 10, 123 May 1 10:00 /dev/vnpu0设备节点存在后用dmesg | tail查看内核打印[12345.678901] vnpu: virtual NPU device registered如果misc_register失败通常是模块重复加载或者设备编号冲突。可以先查看内核日志再决定是否需要rmmod vnpu后重新加载。4. 把矩阵乘法送入芯片从算法到指令到运行时4.1 为什么矩阵乘法是 AI 芯片的核心计算神经网络中的卷积、全连接、注意力机制最终都会映射为大量矩阵乘法。AI 芯片在设计时往往围绕矩阵乘单元做架构优化。对驱动开发者来说理解矩阵乘的映射方式很重要因为指令设计、内存布局和数据搬运方式都围绕它展开。学习阶段可以把矩阵乘法拆成三个动作把输入矩阵 A 和 B 写入设备缓冲区。启动计算指令模拟芯片执行。从设备缓冲区读回结果矩阵 C。4.2 用户态运行时封装libnpu.h对外提供两个接口#ifndef LIBNPU_H #define LIBNPU_H #include stddef.h int npu_matmul(const float *A, const float *B, float *C, int M, int N, int K); #endiflibnpu.c负责打开设备、写入输入数据、下发启动命令、读取结果、关闭设备。为了模拟真实芯片行为库内部用 CPU 代码完成矩阵乘计算同时通过 ioctl 通知驱动记录统计信息。编码方式直接使用 IEEE 754 单精度浮点满足学习验证即可。#include stdio.h #include stdlib.h #include string.h #include fcntl.h #include unistd.h #include sys/ioctl.h #include libnpu.h #define DEVICE_PATH /dev/vnpu0 #define NPU_IOCTL_MAGIC N #define NPU_IOCTL_RESET _IO(NPU_IOCTL_MAGIC, 0) #define NPU_IOCTL_START _IO(NPU_IOCTL_MAGIC, 1) #define NPU_IOCTL_STATUS _IOR(NPU_IOCTL_MAGIC, 2, int) #define NPU_IOCTL_STATS _IOR(NPU_IOCTL_MAGIC, 3, struct vnpu_stats) struct vnpu_stats { unsigned long total_commands; unsigned long total_bytes; }; static void matrix_multiply_cpu(const float *A, const float *B, float *C, int M, int N, int K) { for (int i 0; i M; i) { for (int j 0; j N; j) { float sum 0.0f; for (int p 0; p K; p) { sum A[i * K p] * B[p * N j]; } C[i * N j] sum; } } } int npu_matmul(const float *A, const float *B, float *C, int M, int N, int K) { int fd; int ret 0; int status 0; size_t bytes_a (size_t)M * K * sizeof(float); size_t bytes_b (size_t)K * N * sizeof(float); size_t bytes_c (size_t)M * N * sizeof(float); float *inbuf NULL; size_t total bytes_a bytes_b bytes_c; if (total 4096) { fprintf(stderr, npu_matmul: buffer size exceeded, use smaller matrix\n); return -1; } fd open(DEVICE_PATH, O_RDWR); if (fd 0) { perror(open /dev/vnpu0); return -1; } inbuf (float *)malloc(total); if (!inbuf) { close(fd); return -1; } memcpy(inbuf, A, bytes_a); memcpy(inbuf (size_t)M * K, B, bytes_b); if (write(fd, inbuf, total) ! (ssize_t)total) { perror(write input to vnpu); ret -1; goto out; } matrix_multiply_cpu(A, B, C, M, N, K); if (ioctl(fd, NPU_IOCTL_START) 0) { perror(ioctl start); ret -1; goto out; } if (ioctl(fd, NPU_IOCTL_STATUS, status) 0) { perror(ioctl status); ret -1; goto out; } if (status ! 2) { fprintf(stderr, npu_matmul: unexpected device status %d\n, status); ret -1; goto out; } if (read(fd, inbuf, total) ! (ssize_t)total) { perror(read output from vnpu); ret -1; goto out; } memcpy(C, inbuf (size_t)M * K (size_t)K * N, bytes_c); out: free(inbuf); close(fd); return ret; }这段代码的关键逻辑先写输入数据再启动计算最后读回结果对应真实 AI 芯片的“搬运数据 - 启动执行 - 回读结果”流程。缓冲区总大小限制为 4096 字节和内核模块中定义的VNPU_BUF_SIZE保持一致。如果矩阵尺寸超过限制库会直接报错。计算结果由 CPU 模拟器生成驱动本身并不计算。真实芯片中计算单元是硬件模块驱动只负责调度。ioctl(fd, NPU_IOCTL_START)会阻塞约 10 毫秒模拟设备执行耗时。真实驱动通常使用异步队列不会让应用层直接等待 10 毫秒但阻塞模型更方便学习。4.3 指令编码的入门概念真实 AI 芯片驱动会使用指令描述符描述一次计算指令描述符通常包含字段含义示例值opcode操作类型LOAD_A,LOAD_B,MATMUL,STORE_Csrc_addr源地址输入缓冲区物理地址dst_addr目的地址输出缓冲区物理地址M / N / K矩阵维度4 / 4 / 4data_type数据类型FP32,FP16,INT8在虚拟实验中这些信息通过 ioctl 参数传递或者直接硬编码在库中。如果你想扩展实验可以在 ioctl 中增加一个struct npu_command把矩阵维度、算子和数据地址传下去让驱动做更精细的调度。5. 如何验证“芯片真的算了”设备节点、内核日志和用户态测试5.1 编写用户态测试程序test_npu.c使用 4x4 矩阵调用libnpu提供的接口然后逐项比对结果。#include stdio.h #include math.h #include libnpu.h #define M 4 #define N 4 #define K 4 static void print_matrix(const char *name, const float *mat, int rows, int cols) { printf(%s:\n, name); for (int i 0; i rows; i) { for (int j 0; j cols; j) { printf(%8.2f , mat[i * cols j]); } printf(\n); } } static int compare_matrix(const float *got, const float *want, int rows, int cols) { int errors 0; for (int i 0; i rows * cols; i) { if (fabsf(got[i] - want[i]) 1e-3f) { printf(mismatch at %d: got%f want%f\n, i, got[i], want[i]); errors; } } return errors; } int main(void) { float A[M * K] { 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16 }; float B[K * N] { 1, 0, 0, 0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 0, 0, 1 }; float C[M * N] {0}; float expect[M * N] { 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16 }; if (npu_matmul(A, B, C, M, N, K) ! 0) { printf(npu_matmul failed\n); return 1; } print_matrix(A, A, M, K); print_matrix(B, B, K, N); print_matrix(C, C, M, N); if (compare_matrix(C, expect, M, N) ! 0) { printf(result check FAILED\n); return 1; } printf(result check PASSED\n); return 0; }运行程序./test_npu预期输出包括矩阵打印和最终判定A: 1.00 2.00 3.00 4.00 5.00 6.00 7.00 8.00 9.00 10.00 11.00 12.00 13.00 14.00 15.00 16.00 B: 1.00 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 1.00 C: 1.00 2.00 3.00 4.00 5.00 6.00 7.00 8.00 9.00 10.00 11.00 12.00 13.00 14.00 15.00 16.00 result check PASSED这里选择单位矩阵作为 B这样期望结果可以直接复用 A 的值不需要手工算矩阵乘法降低验证成本。5.2 通过内核日志和统计信息确认设备状态用户态程序只证明用户态链路通还需要通过内核日志确认驱动确实被调用过。dmesg | tail -n 20如果驱动被正确加载会看到注册信息。为了确认 ioctl 调用确实进入内核可以在驱动中临时加入pr_info但这需要重编模块。更轻量的做法是在用户态写一个小工具查询统计信息。在test_npu.c或单独工具中可以加入struct vnpu_stats stats; int fd open(/dev/vnpu0, O_RDWR); if (fd 0 ioctl(fd, NPU_IOCTL_STATS, stats) 0) { printf(total_commands%lu total_bytes%lu\n, stats.total_commands, stats.total_bytes); } close(fd);运行后应该看到total_commands至少为 1total_bytes等于写入缓冲区的字节数。这一步能够把“驱动被调用”从“程序正常退出”中区分出来避免用户态模拟器悄悄计算结果而驱动根本没参与。5.3 验证过程中常用的检查命令检查项命令预期结果模块是否加载lsmod | grep vnpu出现vnpu设备节点是否存在ls -l /dev/vnpu0字符设备节点存在内核日志dmesg | grep vnpu注册成功信息驱动是否占用内存cat /proc/modules | grep vnpu模块记录存在设备主次编号cat /proc/misc | grep vnpu0显示次设备号如果设备节点不存在但模块注册成功可能是 udev 规则问题也可以手动挂载 devtmpfs但一般情况下不需要。6. 驱动开发常见问题排查按现象找根因6.1 模块编译失败缺少内核头文件或版本不匹配现象make: *** /lib/modules/5.10.0-xxx/build: No such file or directory. Stop.原因没有安装内核开发包。内核头文件与当前运行内核版本不一致。Makefile 中KERNEL_DIR指向了错误路径。排查顺序运行uname -r确认当前内核版本。运行ls /lib/modules/$(uname -r)/build确认路径存在。检查/lib/modules/$(uname -r)/build/Makefile是否存在。如果路径不存在按发行版安装对应kernel-devel。6.2 加载模块报错模块已存在或设备号冲突现象insmod: ERROR: could not insert module vnpu.ko: File exists原因上一次测试没有卸载模块。有同名模块被系统加载。解决sudo rmmod vnpu sudo insmod vnpu.ko dmesg | tail如果rmmod提示模块被占用说明还有进程持有设备节点需要先关闭测试程序或找到对应进程。6.3 用户态 ioctl 返回 Inappropriate ioctl for device现象ioctl start: Inappropriate ioctl for device原因用户态头文件和内核模块的头文件定义不一致。_IO宏生成号码不一致常见于MAGIC重复或NR冲突。设备节点指向了错误驱动。排查方式确认用户态程序和内核模块中的NPU_IOCTL_MAGIC一致。确认打开的设备路径是/dev/vnpu0。用cat /proc/misc查看次设备号。真实项目中内核模块和用户态库的 ioctl 定义常常存在重复建议统一维护在一个公共头文件中避免手写两套。6.4 写入数据后读回结果不正确现象测试程序退出正常。对比矩阵时出现 mismatch。输出矩阵全部为 0或者数据错位。可能原因写入缓冲区时矩阵拼接顺序错误。读取结果时偏移不对。用户态与内核态之间字节序不一致。排查方式先打印写出的缓冲区开头 16 字节确认 A 和 B 的顺序。打印读回缓冲区确认偏移位置。把内核缓冲区大小VNPU_BUF_SIZE调大一倍排除缓冲区截断问题。对于浮点数据还需要注意精度问题。真实 AI 计算对精度要求高学习环境使用float做对比时要设置合理误差阈值不要用精确比较。6.5 设备统计信息不增长现象多次调用npu_matmul。查询total_commands始终为 0。可能原因测试程序没有真正打开/dev/vnpu0。权限不足open 返回-EACCES。用户态库在打开设备前发生了提前退出。排查方式在测试程序里显式打印open返回值。用sudo ./test_npu尝试一次排除权限问题。内核模块中在 ioctl 分支里增加pr_info输出重新编译后查看 dmesg。6.6 常用排错清单优先级检查项对应命令或操作1内核版本uname -r2模块是否加载lsmod | grep vnpu3设备节点ls -l /dev/vnpu04用户态程序是否有权限sudo ./test_npu5ioctl 定义是否一致对比NPU_IOCTL_*宏6缓冲区偏移是否正确打印写入/读回内存7内核日志dmesg | tail -n 508驱动是否有内存泄漏cat /proc/slabinfo或free -m7. 从虚拟设备到真实 AI 芯片值得坚持的扩展方向7.1 学习环境与生产环境的差异上面的虚拟实验把许多复杂机制简化了真实 AI 芯片驱动开发还需要额外关注维度学习环境生产环境设备发现miscdevice 自动注册PCIe 或 platform 总线 probe内存访问内核内存模拟ioremap 物理内存分配数据搬运copy_from_userDMA 映射 一致性管理并发控制mutex 串行多队列 多进程调度中断无request_irq / threaded irq固件加载无启动时加载固件到内部 SRAM日志pr_info 简单输出tracepoint ftrace 独立日志系统测试单进程用户态验证压力测试 故障注入建议在完成虚拟实验后再进入真实开发板或 QEMU 的 PCIe 模拟环境逐步增加 DMA 和中断。不要停留在“字符设备能跑矩阵乘”这个阶段。7.2 建立可复用的驱动开发检查清单在开始一个 AI 芯片驱动之前建议先回答以下问题硬件挂在哪条总线上PCIe、AMBA、还是自定义总线是否有 BAR 空间寄存器偏移表在哪里计算指令是内存映射还是消息队列输入输出缓冲区如何分配是否需要物理连续内存一次计算是否耗时可估计驱动用阻塞同步还是异步通知多进程访问时队列和上下文如何隔离固件怎么加载失败后的回退策略是什么错误状态如何上报是否有独立错误中断用什么工具验证用户态是否有可对拍的 CPU 实现如何做性能测试数据搬运时间占整个计算时间的比例是多少这些问题没有统一答案不同芯片设计差异很大。但提前把清单列出来能够有效避免“驱动写完了设备却一直不工作”的窘境。7.3 推荐的学习路径与实验深度如果目标是进入真实 AI 芯片软件栈可以按以下阶段安排学习本文的虚拟 NPU 实验理解字符设备、ioctl、用户态 runtime 的配合。深入学习 Linux 设备模型platform_driver、device tree、资源获取。学习中断处理tasklet、workqueue、threaded irq理解下半部机制。学习 DMA 子系统dma_alloc_coherent、dma_map_single、DMA 方向。学习 PCIe 驱动框架pci_register_driver、resource 读取、MSI-X。结合编译器与运行时了解从 ONNX 到指令的编译流程理解驱动之上的一层。选择一款开源模拟器或真实开发板完成一个真实算子。每一步都尽量留一个可运行示例。内核驱动开发最容易出现的错误是“概念懂了但代码无法编译”因此所有学习阶段都要配套完整工程代码不要只摘抄片段。本文的虚拟 NPU 实验就是一个很好的起点后续可以把它扩展成多队列调度器、加入 DMA 模拟、增加中断请求逐步逼近真实驱动的复杂度。