cuda 之所以能成为 nvidia 的护城河源于这 20 多年来 nvidia 在这个领域持之以恒的大力投入，尤其是早期不计成本的推广力度（几乎只要是有名目的项目都能拿到样卡），与开发者密切协调并将搜集的需求快速做到新的版本和产品里，从低到高全覆盖都支持 cuda ...

啊？是时代变了还是windows的问题，我记得pytorch的cuda和cudnn都是封在whl包里面，不依赖环境cuda版本的啊。只依赖nv驱动版本，但nv驱动新版都是兼容旧版cuda的. 题主直接装一个试试吧，pip install又不花多少时间，linux应该是没问题的，windows没试过

那么在整个过程中cuda体现在哪里呢？首先我们用c++写的这个程序，就叫cuda程序，通常是以.cu结尾。然后把这个程序编译为机器码的过程要用到cuda编译器。 为什么我们要用cuda算子完成一个功能，而不是cpu程序呢？这通常是为了利用gpu高并发的特性。

cuda是nvidia公司推出的一套编程环境，包括驱动，sdk，toolkit等。 主要是用来进行计算加速，作为协处理器来进行使用。 同时cuda有很多的库，如cublas，cufft等计算库，在用于科学计算和人工智能领域都有很好的加速效果。

就是维护两套编译器，一套适配 CUDA，另外一套是原生的。这么做的优点和缺点都很明显：可以复用 CUDA 的成熟的生态，随之而来的好处是 upstream (就是把你的工作 merge 到社区) 的工作会很轻松，也就是很容易被社区接受，因为对框架本身的改动会很小。

所以，久而久之， cuda就成为了大家开发ai程序的主流工具。 AMD在人工智能方面起步比Nvidia晚，但是现在也在追，我们目前听到的消息是， AMD提供了一个工具， 可以非常方便的把CUDA *cu 程序改成可以在AMD 显卡上跑的程序。

事实上不仅仅是cuda. 英伟达从cuda里学到的最重要的一课，就是软硬件捆绑。 计算界cuda之所以厉害，不仅仅是因为它可以调用GPU计算， 而是它可以调用GPU硬件加速。 GPU计算 ≠ GPU硬件加速。 这个道理或许很多人不知道。

一、核心数量和功耗‌：rtx 5080和rtx 5070 ti都使用gb203芯片，但rtx 5080拥有10752个cuda核心，而rtx 5070 ti有8960个cuda核心，核心数量增加了约16%‌12。 RTX 5080的TDP为400W，而RTX 5070 Ti为350W‌。

我电脑配置i7-11800H，ram 40G，3060 6G laptop显卡，想本地运行一下deepseek，遇到类似问题，即ollama运行deepseek 7b，8b尚可，而14b模型时候逐词输出太慢，而且只有CPU工作，GPU不运行，想调用GPU一起干活，于是就安装了VS cuda 和 cudnn，折腾半天运行deepseek 7b时候GPU还是没反应，但偶然运行Qwen 0.5b发现GPU是工作的。

CUDA、cuDNN 和 PyTorch 是三个不同但相关的组件，它们之间存在一些依赖关系，特别是在使用 PyTorch 进行深度学习开发时。 「CUDA（Compute Unified Device Architecture）」： 「CUDA是GPU并行计算平台」：CUDA 是由 NVIDIA 开发的用于并行计算的平台和编程模型。它允 …