大模型从0到1｜第一讲：概述和Tokenization
大模型从0到1｜第一讲：概述和Tokenization 课程链接：Stanford CS336 Spring 2025 - Lecture 1 课程团队 CS336: Language Models From Scratch (Spring 2025) 这是 CS336 的第二次开课 斯坦福版本规模扩大了 50% 讲座将发布到 YouTube，向全世界开放 为什么要开设这门课？问题：研究
大模型从0到1｜第二讲：PyTorch手把手搭建LLM
大模型从0到1｜第二讲：PyTorch手把手搭建LLM 课程链接：Stanford CS336 Spring 2025 - Lecture 2 课程概述上节课回顾： 课程概述、Tokenization 本讲概览： 讨论训练模型所需的所有原语（primitives） 自底向上：从张量 → 模型 → 优化器 → 训练循环 密切关注效率（资源使用） 两类资源： 内存（Memory） - GB
大模型从0到1｜第七讲：详解大模型并行化策略
大模型从0到1｜第七讲：详解大模型并行化策略课程信息： CS336 | 讲师： Tatsu H | 主题： 大规模训练系统的并行化基础 Part 1: 扩展的动机与硬件基础 (Motivation & Hardware) Page 1: 课程标题 深度解析： 课程正式开始。本节课的主题是 Parallelism Basics。在单卡算力逼近物理极限的今天，训练一个 SOTA 大模型（如
大模型从0到1｜第六讲：手写高性能算子
大模型从0到1｜第六讲：手写高性能算子 课程链接：Stanford CS336 Spring 2025 - Lecture 6: Writing Fast Kernels 课程概述上节课回顾： GPU 的高层次概述和性能分析本节课重点： 性能测试/分析 + 手写 GPU 算子 核心内容： Benchmarking 和 Profiling 技术 Kernel Fusion（算子融合）
大模型从0到1｜第五讲：详解 GPU 架构与性能优化
大模型从0到1｜第五讲：详解 GPU 架构与性能优化讲师： Tatsu H核心主题： 深入剖析 GPU 的底层硬件原理、性能分析方法论（Roofline Model），以及如何通过 Tiling、Fusion、Coalescing 等技巧优化深度学习负载，最后以 FlashAttention 为例进行融会贯通。 Part 1: GPU 深度解析 (GPUs in Depth) Page 1: 课
大模型从0到1｜第四讲：详解MoE架构
大模型从0到1｜第四讲：详解MoE架构课程信息： CS336 | 讲师： Tatsu H | 主题： 混合专家模型 (Mixture of Experts) 课程链接：Stanford CS336 Spring 2025 - Lecture 4: MoEs Part 1: MoE 的背景与崛起 (Introduction & Context) Page 1: 课程开篇 【视觉内容】
📚 技术笔记与资源库
📚 技术笔记与资源库 Stay hungry. Stay foolish. - Steve Jobs 个人技术学习笔记与资源整理，涵盖操作系统、编程语言、架构设计等多个技术领域。 🗂️ 目录结构🐧 LinuxLinux系统技术文档，包含内核开发、性能调优、虚拟化等内容 kernel - Linux内核开发与源码分析 performance - 性能分析工具 (perf, BPF, sta
Linux内核开发与系统技术文档
Linux内核开发与系统技术文档目录结构说明📂 boot系统启动相关技术 grub: GRUB引导加载器配置和调试 🔍 debug纯调试工具和技术 assembly: 汇编语言调试 binary-analysis: 二进制分析 gdb: GDB调试器使用 kdump: 内核转储分析 📊 performance性能分析和优化工具 perf: Linux perf 性能分析 bpf: