2024年12月8日 · AI系统全栈架构图 课程主要包括以下六大模块： 第一部分，AI 基础知识和 AI 系统的全栈概述的 AI 系统概述 ，以及深度学习系统...

大模型是基于 AI 集群的全栈软硬件性能优化，通过最小的每一块 AI 芯片组成的 AI 集群，编译器使能到上层的 AI 框架，训练过程需要分布式并行、集群通信等算法支持，而且在大模型领域最近持续演进如智能体等新技术。 本开源课程主要是跟大家一起探讨和学习人工智能、深度学习的系统设计，而整个系统是围绕着 ZOMI 在工作当中所积累、梳理、构建 AI 大模型系统的基础软硬件栈，因此成为 AI 基础设施。 希望跟所有关注 AI 开源课程的好朋友一起探讨研究，共同促进学 …

ZOMI酱从4岁开始学习美术，是一位艺术生，高考时阴差阳错地调剂进入了计算机专业。 现在的他是昇腾大模型训练专家，同时也是一位哔哩哔哩（B站）AI 科普视频UP主，他起了一个颇为“二次元”的名字——ZOMI酱。 “叫这个名字是因为和真名谐音，虽然听起来有些二次元，哈哈。 ”他解释 …

2025年2月1日 · 本开源课程主要是跟大家一起探讨和学习 人工智能 、深度学习的系统设计，而整个系统是围绕着 ZOMI 在工作当中所积累、梳理、构建 AI 系统全栈的内容。 希望跟所有关注 AI 开源课程的好朋友一起探讨研究，共同促进学习讨论。 课程主要包括以下五大模块： 主要是整体了解 AI 训练和推理全栈的体系结构内容。 而不是停留在天天喊着吊打英伟达和 CUDA，实际上芯片难以用起来。 思考在设计现代机器学习系统中需要考虑的编译器问题，特别是中间表达乃至 …

本开源课程主要是跟大家一起探讨和学习人工智能、深度学习的系统设计，而整个系统是围绕着 ZOMI 在工作当中所积累、梳理、构建 AI 系统全栈的内容。 希望跟所有关注 AI 开源课程的好朋友一起探讨研究，共同促进学习讨论。 课程主要包括以下五大模块： AI 基础知识和 AI 系统的全栈概述的AI 系统概述，以及深度学习系统的系统性设计和方法论，主要是整体了解 AI 训练和推理全栈的体系结构内容。

这个开源项目英文名字叫做 Deep Learning System 或者 AI System (AISys)，中文名字叫做 深度学习系统 或者 AI系统。 本开源项目主要是跟大家一起探讨和学习人工智能、深度学习的系统设计，而整个系统是围绕着 ZOMI 在工作当中所积累、梳理、构建 AI 系统全栈的内容。 希望跟所有关注 AI 开源项目的好朋友一起探讨研究，共同促进学习讨论。 课程主要包括以下六大模块： 第一部分，AI基础知识和AI系统的全栈概述的 AI系统概述，以及深度学习系统的系统性设计和方法 …

zomi酱的个人空间-zomi酱个人主页-哔哩哔哩视频. 第一节-分布式集群 的基础介绍. 为什么需要分布式集群？——大模型

混合并行（HybridParallel）是一种用于分布式计算的高级策略，它结合了数据并行和模型并行的优势，以更高效地利用计算资源，解决深度学习中的大模型训练问题。 混合并行不... 在大模型的训练中，单个设备往往无法满足计算和存储需求，因此需要借助分布式训练技术。 其中，模型并行（Model Parallelism, MP）是一种重要的方法。 模型并行的基... 在大模型的训练中，单个设备往往无法满足计算和存储需求，因此需要借助分布式训练技术。 其中，模型并行（Model …

2024年8月25日 · zomi课程： 课程内容大纲 — AI System (chenzomi12.github.io) https://chenzomi12.github.io/ chenzomi12/AISystem: AISystem 主要是指AI系统，包括AI芯片、AI编译器、AI推理和训练框架等AI全栈底层技术 (github.com) https://github.com/chenzomi12/AISystem

打破 Transformer 结构垄断的新方式！#大模型 #Transformer, 视频播放量 4064、弹幕量 1、点赞数 129、投硬币枚数 37、收藏人数 86、转发人数 16, 视频作者 ZOMI酱, 作者简介 AIInfra制 …