大模型从0到1｜第三讲：详解现代LLM基础架构
大模型从0到1｜第三讲：详解现代LLM基础架构课程信息：CS336 | 讲师：Tatsu H | 幻灯片总数：68 Part 1: 课程概览 (Introduction)Page 1: 标题页 内容: 课程名称 “Lecture 3: Everything you didn’t want to know about LM architecture and training”。 解析: 这一讲主
大模型从0到1｜第八讲：手撕大模型并行训练
大模型从0到1｜第八讲：手撕大模型并行训练 课程链接：Stanford CS336 Spring 2025 - Lecture 8: Distributed Training Implementation 课程概述上周回顾： 单个 GPU 内的并行化本周重点： 多 GPU 跨节点的并行化 统一主题： 在两种情况下，计算单元（算术逻辑单元）都远离数据（输入/输出） 核心思想： 编排计
大模型从0到1｜第二讲：PyTorch手把手搭建LLM
大模型从0到1｜第二讲：PyTorch手把手搭建LLM 课程链接：Stanford CS336 Spring 2025 - Lecture 2 课程概述上节课回顾： 课程概述、Tokenization 本讲概览： 讨论训练模型所需的所有原语（primitives） 自底向上：从张量 → 模型 → 优化器 → 训练循环 密切关注效率（资源使用） 两类资源： 内存（Memory） - GB
大模型从0到1｜第七讲：详解大模型并行化策略
大模型从0到1｜第七讲：详解大模型并行化策略课程信息： CS336 | 讲师： Tatsu H | 主题： 大规模训练系统的并行化基础 Part 1: 扩展的动机与硬件基础 (Motivation & Hardware) Page 1: 课程标题 深度解析： 课程正式开始。本节课的主题是 Parallelism Basics。在单卡算力逼近物理极限的今天，训练一个 SOTA 大模型（如
大模型从0到1｜第六讲：手写高性能算子
大模型从0到1｜第六讲：手写高性能算子 课程链接：Stanford CS336 Spring 2025 - Lecture 6: Writing Fast Kernels 课程概述上节课回顾： GPU 的高层次概述和性能分析本节课重点： 性能测试/分析 + 手写 GPU 算子 核心内容： Benchmarking 和 Profiling 技术 Kernel Fusion（算子融合）
大模型从0到1｜第五讲：详解 GPU 架构与性能优化
大模型从0到1｜第五讲：详解 GPU 架构与性能优化讲师： Tatsu H核心主题： 深入剖析 GPU 的底层硬件原理、性能分析方法论（Roofline Model），以及如何通过 Tiling、Fusion、Coalescing 等技巧优化深度学习负载，最后以 FlashAttention 为例进行融会贯通。 Part 1: GPU 深度解析 (GPUs in Depth) Page 1: 课
大模型从0到1｜第四讲：详解MoE架构
大模型从0到1｜第四讲：详解MoE架构课程信息： CS336 | 讲师： Tatsu H | 主题： 混合专家模型 (Mixture of Experts) 课程链接：Stanford CS336 Spring 2025 - Lecture 4: MoEs Part 1: MoE 的背景与崛起 (Introduction & Context) Page 1: 课程开篇 【视觉内容】
📚 技术笔记与资源库
📚 技术笔记与资源库 Stay hungry. Stay foolish. - Steve Jobs 个人技术学习笔记与资源整理，涵盖操作系统、编程语言、架构设计等多个技术领域。 🗂️ 目录结构🐧 LinuxLinux系统技术文档，包含内核开发、性能调优、虚拟化等内容 kernel - Linux内核开发与源码分析 performance - 性能分析工具 (perf, BPF, sta