CMU 10-414/714: Deep Learning Systems 课程简介. 所属大学：CMU; 先修要求：系统入门(eg.15-213)、深度学习入门、基本的数学知识; 编程语言：Python, C++; 课程难度：🌟🌟🌟; 预计学时：100小时

今天要推荐的课程是 CMU 10-414 / 717，课程地址： 我完成的课程作业的代码： 这门课主要是讲解了 PyTorch 的整体设计，以及在作业中引导我们实现一个简版的 PyTorch（项目名叫 needle）。 内容包括：

2024年8月20日 · 这篇博客介绍了在深度学习系统中如何实现卷积神经网络（CIFAR-10数据集上的应用）和循环神经网络（LSTM），包括LSTM的工作原理和在Penn Treebank数据集上的字符级预测任务。 读者将学习到如何添加新算子、构建CIFAR-10数据集的Dataset、实现RNNCell和LSTMCell，以及训练word-level的语言模型。 通过之前作业中完成的所有组件，使用高 性能 的网络结构来解决一些问题。 首先会增加一些新的 算子 （使用CPU/ CUDA 后端），然后完成卷 …

Among the topics considered are: data cleaning, visualization, and pre-processing at scale; principles of parallel and distributed computing for machine learning; techniques for scalable deep learning; analysis of programs in terms of memory, computation, and communication complexity; and methods for low-latency inference.

本课程的目标是学习现代深度学习系统，了解包括自动微分、神经网络架构、优化以及 GPU 上的高效操作在内的技术的底层原理。 作为实践，本课程将实现一个 needle（deep learning library）库，类似 PyTorch。 为什么学习深度学习系统？ 为什么学习？ 深度学习这一概念很早就存在了，但直到 PyTorch、TensorFlow 此类现代深度学习框架发布，深度学习才开始迅速发展。 简单易用的自动差分库是深度学习发展的最大动力。 除了使用这些库，我们为什么还要学习 …

2024年3月12日 · In this course students will gain exposure to practical aspects of machine learning and statistical data analysis. Students are expected to complete a semester-long project entailing an end-to-end application of machine learning.

CMU 10-414/714：深度学习系统 最新名校公开课 入门必看共计24条视频，包括：Lecture 1 - Introduction and Logistics、Lecture 2 - ML Refresher _ Softmax Regression、Lecture 3 (Part I) - _Manual_ Neural Networks等，UP主更多精彩视频，请关注UP账号。

CMU 10-414/714: Deep Learning Systems 课程简介. 所属大学：CMU; 先修要求：系统入门(eg.15-213)、深度学习入门、基本的数学知识; 编程语言：N/A（据课程主页，要求熟悉Python、C/C++） 课程难度：N/A; 预计学时：N/A

为了更好地掌握理论知识，学生将会在5个课程作业中从头开始设计和实现一个完整的深度学习库 Needle，使其能对计算图进行自动微分，能在 GPU 上实现硬件加速，并且支持各类损失函数、数据加载器和优化器。 在此基础上，学生将实现几类常见的神经网络，包括 CNN，RNN，LSTM，Transformer 等等。 即使你是深度学习领域的小白也不必过于担心，课程将会循序渐进地从简单分类问题和反向传播优化讲起，一些相对复杂的神经网络都会有配套的 …

Machine Learning is becoming the primary mechanism by which information is extracted from Big Data, and a primary pillar that Artificial Intelligence is built upon. This course is designed for Ph.D. students whose primary field of study is machine learning, or who intend to make machine learning methodological research a main focus of their thesis.