Training Frameworks

深度学习训练框架和相关技术。

📚 现有文档

• Stage 2 Training - 分布式训练 Stage 2 优化

🔧 主题概览

PyTorch Ecosystem

• PyTorch Core - PyTorch 核心概念
• PyTorch Lightning - 高级训练框架
• TorchScript - PyTorch 模型优化
• PyTorch XLA - TPU 支持

TensorFlow Ecosystem

• TensorFlow Core - TensorFlow 基础
• Keras - 高级 API
• TensorFlow Extended (TFX) - 端到端 ML 平台

Emerging Frameworks

• JAX - 可组合的数值计算
• Flax - JAX 神经网络库
• Haiku - DeepMind 的 JAX 库

Memory Optimization

• Gradient Checkpointing - 梯度检查点
• Mixed Precision Training - 混合精度训练
• ZeRO Optimizer - 内存优化器

Compilation & Acceleration

• TorchCompile - PyTorch 2.0 编译
• XLA Compilation - 加速线性代数编译器
• Custom CUDA Kernels - 自定义 CUDA 内核