index
约 1 分钟阅读
Training Frameworks
深度学习训练框架和相关技术。
📚 现有文档
- Stage 2 Training - 分布式训练 Stage 2 优化
🔧 主题概览
PyTorch Ecosystem
- PyTorch Core - PyTorch 核心概念
- PyTorch Lightning - 高级训练框架
- TorchScript - PyTorch 模型优化
- PyTorch XLA - TPU 支持
TensorFlow Ecosystem
- TensorFlow Core - TensorFlow 基础
- Keras - 高级 API
- TensorFlow Extended (TFX) - 端到端 ML 平台
Emerging Frameworks
- JAX - 可组合的数值计算
- Flax - JAX 神经网络库
- Haiku - DeepMind 的 JAX 库
Memory Optimization
- Gradient Checkpointing - 梯度检查点
- Mixed Precision Training - 混合精度训练
- ZeRO Optimizer - 内存优化器
Compilation & Acceleration
- TorchCompile - PyTorch 2.0 编译
- XLA Compilation - 加速线性代数编译器
- Custom CUDA Kernels - 自定义 CUDA 内核
修改历史4 次提交
- refactor: reorganize documentation structure and update Navbar componentxiaocheng··
2fb8f42 - chore(project): clean up obsolete configuration and build artifactsxiaocheng··
3574bd3 - refactor AI postxiaocheng··
a5a7637
相关阅读
基于标签与分类02. Reasoning Model、Agent 与长任务
reasoning model 和普通模型有什么区别？为什么模型知道很多却一推就错？为什么接上工具后小模型短任务聪明、长任务却容易崩？
AI 系统
01. 什么是 AI 推理
从新手视角解释 AI 推理的基本概念：推理和记忆的区别、token 生成与推理的关系、演绎归纳溯因，以及什么样的问题真正考验推理。
AI 系统
AI 推理入门：从 token 生成到 reasoning model、RAG 与 Agent
从新手视角梳理 AI 推理的核心概念：推理与记忆的区别、思维链、reasoning model、RAG、memory、fine-tuning、distillation，以及推理能力和 agent 能力的关系。
AI 系统