2018年5月25日 · 在GP100里，每一个SM有两个SM Processing Block（SMP），里边的绿色的就是 CUDA Core，CUDA core也叫Streaming Processor（SP），这俩是一个意思。 每一个SM有自己的指令缓存，L1缓存，共享内存。 而每一个SMP有自己的Warp Scheduler、Register File等。 要注意的是CUDA Core是Single Precision的，也就是计算float单精度的。 双精度Double Precision是那个黄色的模块。 所以一个SM里边由32个DP Unit，由64个CUDA Core，所以单 …

MPS是一个二进制兼容的客户端-服务器运行时实现的CUDA API，允许多个CPU进程共享同一GPU context，不同进程的kernel和memcpy操作在同一GPU上并发执行，以实现最大化 GPU利用率、减少GPU上下文的切换时间与存储空间。

SP (Streaming Processor): 流处理器， 是GPU最基本的处理单元，在fermi架构开始被叫做 CUDA core。 SM (Streaming MultiProcessor): 一个SM由多个CUDA core组成，**每个SM根据GPU架构不同有不同数量的CUDA core**，Pascal架构中一个SM有128个CUDA core。 SM还包括特殊运算单元 (SFU)，共享内存 (shared memory)，寄存器文件 (Register File)和调度器 (Warp Scheduler)等。 register和shared memory是稀缺资源， 这些有限的资源就使每个SM中active …

在划分sm后，gpu就可以通过将将计算任务分解成多个小部分的工作分配给不同的sm并行执行，从而加快计算速度。 其次，划分SM还可以避免不同计算任务之间的资源竞争，提高GPU并行性能。

2017年10月1日 · 相同架构的GPU包含的SM数量则根据GPU的中高低端来定。 下图给出Nvidia GTX980 的一个SM示意图，图中每个绿色框框表示一个SP。注意，在Maxwell架构中，Nvidia已经把SM改叫SMM。下图表示的仅仅是一个SMM，一个GPU可以有多个SM（比如16个），最终一个GPU可能包含有上千个SP。

2021年6月30日 · 本文介绍 GPU 和 CUDA 相关的几个基本概念：SP、SM、warp、thread、block 和 grid。其中 SP，SM，warp 是硬件（GPU hardware）概念，而 thread，block，grid 是软件（CUDA）概念。参考了以下几篇博客或文章： 1. http://www.myexception.cn/cuda/1929840.html 2. …

2022年2月26日 · 一块G80内，设计了多个SM（stream Multiprocessor： 流多处理器）， 每个SM内又包括了多个SP（streaming processor）。 而SP正是实现算数功能的核心部件，可以类比CPU之中的ALU单元，只不过其计算能力要差很多。 G80中计算单元甚至只有24位，做32位整形数运算的时候需要使用算法模拟。 上图为一块G80的架构。 L1、L2是两级缓存，还有一些用于顶点处理等图形功能的部件；其中拿出这样的一条来，即为一块SM： 可以看到，一块G80上面设 …

2014年5月27日 · GPU 的硬件基本概念. Nvidia的版本： 实际上在 nVidia 的 GPU 里，最基本的处理单元是所谓的 SP(Streaming Processor)，而一颗 nVidia 的 GPU 里，会有非常多的 SP 可以同时做计算;而数个 SP 会在附加一些其他单元，一起组成一个 SM(Streaming Multiprocessor)。

Adreno GPU中的SP会包含多个uSP或Micro SP，每个uSP中还可能包含多组ALU，每组ALU可以分别执行不同的Warp。 3. Compute Unified Device Architecture Core. 【说明】与Adreno GPU中的uSP类似，在NVIDIA GPU架构中用于处理Shader算术运算指令的硬件单元。 4. Arithmetic Logic Unit. 【说明】GPU中用于执行基本数学计算的硬件单元。 5. Elementary Function Unit. 【说明】Adreno GPU中用于执行初等函数计算的硬件单元。 6. Special Function Unit.

2016年10月13日 · SP ：最基本的处理单元，streaming processor，也称为CUDA core。最后具体的指令和任务都是在SP上处理的。GPU进行并行计算，也就是很多个SP同时做处理。 SM ：多个SP加上其他的一些资源组成一个streaming multiprocessor。也叫GPU大核，其他资源如：warp scheduler，register，shared ...