相关概念

• GPU：

GPU是硬件，又称独立显卡，需要安装显卡驱动（GPU Driver）才能使用。安装显卡驱动时，默认安装CUDA 驱动运行时库（CUDA Driver Runtime），这是供软件调用 GPU 的底层接口。

• CUDA：

并行计算架构标准，定义如何用 GPU 进行通用计算。只是一个协议，不是具体的软件。

• CUDA Toolkit

实现 CUDA 架构的开发工具集合（软件包）。包含以下几部分：

1. 编译器（nvcc）：将CUDA代码编译为GPU可执行代码
2. 库（如cuBLAS，cuFFT）：支持GPU加速的数学计算库
3. 开发工具（如Nsight）：调试、性能分析工具
4. CUDA Runtime：核心运行依赖，负责调度GPU

如果只是训练、推理模型，无需安装。只有在VS等平台进行CUDA编程时，才需要安装。

• cuDNN：

基于CUDA的深度学习加速库。安装cuDNN之前，必须先安装CUDA Toolkit，且二者版本需匹配。

安装显卡驱动

下载显卡驱动

 官网下载NVIDIA GeForce 驱动程序 - N 卡驱动 | NVIDIA，输入电脑配置，搜索并下载驱动程序

按照默认设置安装完成后，重启电脑。

查看显卡相关信息

方法1：win+r，输入cmd，打开命令窗口，输入：nvidia-smi。如下图所示：

Driver Version（显卡驱动版本）：552.44

CUDA Version（该显卡驱动支持的最高CUDA版本）：12.4

方法2：打开NVIDIA控制面板—帮助—系统信息

显卡驱动版本：552.44

该显卡驱动支持的最高CUDA版本：12.4

更新显卡驱动

卸载原始驱动程序（卸载后重建电脑，否则无法安装新驱动程序）

方法1：打开电脑的设置—应用，卸载原始驱动程序。

方法2：打开设备管理器，选中显卡，右键卸载设备。

           

下载并安装新驱动程序。

安装CUDA toolkit

下载并安装CUDA toolkit

CUDA Toolkit Archive | NVIDIA Developer

查看是否安装成功

在命令行窗口输入：nvcc -V

如果可以显示版本信息，说明安装成功。

创建VS工程进行CUDA编码

方法1：创建新的CUDA工程编码

打开Visual Studio，新建项目，选择下图所示的CUDA Runtime

方法2：已有工程支持CUDA编码

选择工程：生成依赖项—>生成自定义，勾选CUDA。

工程中加入后缀是cu的文件，右键该文件选择：属性—>常规—>项类型—>CUDA C/C++

此时cu文件才会用CUDA的NVCC编译器编译。否则默认用VS的编译器，编译会报错。

注意：

1、VS版本要与CUDA toolkit版本匹配，否则编译会报错。例如：VS2022要安装CUDA toolkit12.4及以上版本；

2、VS与CUDA尽量不要安装太新的版本，容易出现版本兼容性的问题，导致编译报错；

安装cuDNN

下载

 官网下载地址。注意：根据已经安装的CUDA Toolkit 版本选择匹配的cuDNN安装包

安装

cuDNN安装包就是一个压缩包，解压后如下图所示：

将以上三个文件夹里的内容分别拷贝到CUDA安装目录对应的文件夹中 

验证是否安装成功

网上大部分人按照如下方式验证。本人亲测，不安装cuDNN，如下方式也能验证通过。所以如下方式不能验证cudnn是否安装成功，暂时我也不知道如何验证。

找到下图中的两个exe文件。

先打开cmd命令窗口，然后将这两个文件分别拖动到窗口内执行，弹出下列对话框则说明安装成功 。（如果在文件夹内，直接双击运行，则弹框会一闪而过）

查询CUDA toolkit与显卡驱动的版本对应关系

CUDA 12.4 Update 1 Release Notes

查询GPU算力

 CUDA GPUs - Compute Capability | NVIDIA Developer