目录1.CUDA安装1.1.CUDA作用1.2.CUDA下载1.3.CUDA安装1.4.验证2.CUDNN安装2.1.CUDNN作用2.2.下载2.3.安装2.4.验证1.CUDA安装1.1.CUDA作用CUDA 是 NVIDIA 提供的并行计算平台和编程模型允许开发者直接利用 GPU 的并行计算能力而无需编写底层图形API如OpenGL。通过扩展 C/C/Python 等语言CUDA 使得开发者可以编写直接在 GPU 上运行的代码称为核函数适用于任何需要大规模并行计算的任务如科学模拟、图像处理、深度学习等。1.2.CUDA下载查看CUDA驱动nvidia-smi显示如下CUDA version12.4表示当前驱动最多支持到 CUDA Toolkit 12.4但通常也向下兼容更低的 CUDA Toolkit 版本。NVIDIA 驱动通常支持 所有 ≤ 驱动标称版本 的 CUDA Toolkit。例如驱动版本 12.4 → 支持 CUDA Toolkit 12.x、11.x、10.x 等。但具体兼容范围需参考 NVIDIA 官方文档。为了omega-ai项目更好的兼容性我们这里安装CUDA 11.7版本地址CUDA Toolkit 11.7 Downloads | NVIDIA Developer注意如果机器已经有12.4的CUDA Tookit了不影响本次11.7的安装可以安装多个版本。wget https://developer.download.nvidia.com/compute/cuda/11.7.0/local_installers/cuda_11.7.0_515.43.04_linux.run1.3.CUDA安装执行linux命令安装:sudo sh cuda_11.7.0_515.43.04_linux.run第一步输入accept回车第二步选择drive回车取消驱动安装再选择install安装显示如下安装成功查看安装日志cat /var/log/cuda-installer.log遇到Cannot find manpages to install的警告或错误通常是因为CUDA安装包缺少manpages手册页文件或者安装程序无法找到它们。如果不需要查阅CUDA的man手册可以直接忽略此警告。我们这里忽略 如果你确实需要查阅CUDA的man手册你可以在此https://developer.download.nvidia.cn/compute/cuda/redist/cuda_documentation/linux-x86_64/下载相同版本的documentation安装。1.4.验证nvcc --version # 查看 CUDA 编译器版本如下说明安装成功2.CUDNN安装2.1.CUDNN作用cuDNN 是 NVIDIA 针对深度学习优化的高性能库基于 CUDA 构建提供了高度优化的常见深度学习操作实现。针对卷积Convolution、池化Pooling、归一化BatchNorm、激活函数ReLU等、循环神经网络RNN/LSTM等操作进行了极致优化显著提升训练和推理速度。主流深度学习框架如 TensorFlow、PyTorch依赖 cuDNN 作为底层计算引擎。2.2.下载Index of /compute/cudnn/redist/cudnn/linux-x86_642.3.安装tar -xvf cudnn-linux-x86_64-9.10.0.56_cuda11-archive.tar.xz cd cudnn-linux-x86_64-9.10.0.56_cuda11-archive sudo cp -r include/* /usr/local/cuda-11.7/include/ sudo cp -r lib/* /usr/local/cuda-11.7/lib64/2.4.验证进入 CUDA 的安装目录默认路径如/usr/local/cuda-11.7分别进入include和lib文件夹查看是否存在以cudnn开头的文件如cudnn.h和cudnn.lib等。也可以运行 CUDA 安装目录下extra\demo_suite文件夹中的deviceQuery和bandwidthTest文件 在命令行中进入该文件夹目录然后依次执行以下命令./deviceQuery ./bandwidthTest若两个程序的输出结果中都出现Result PASS则说明 cuDNN 安装和配置正确。*****************想要AI 应用工程师面试题100 道真实面试题覆盖 AI 基础、RAG、Agent、API 调用与微调、工程化与实战项目五大模块。关注顶部公众号发送 AIAM 免费领取*****************