LoRAFusion: LoRA明明只训练0.3%参数，为什么还这么慢？核心观点：LoRA把175B模型的微调成本降到了全参数训练的1/1000，但大家都忽略了一个事实——LoRA的实现效率很低，大量时间浪费在冗余的内存访问上。LoRAFusion通过算子融合和智能调度，让LoRA训练再快2倍，同时把70B模型的内存需求从1120GB降到142GB（2-3张A100就够）。这不是算法创新，而是把LoRA该有的性能彻底释放出来。
LoRA的性能悖论LoRA的数学很优雅：在每个线性层加一个低秩旁路 ΔW = BA，其中 B∈R^(d×r)，A∈R^(r×d)，rank r 通常只有8-64。
理论上，LoRA应该比全参数训练快得多：
参数量：只有0.29%需要训练（r=16时）
计算量：O(2rdn) vs 全参数的 O(d²n)，当r<<d时可忽略
内...
InfiniPipe: 面向长上下文大语言模型训练的数据中心弹性流水线并行
InfiniPipe: 当上下文长度从4K飙到192K，传统流水线并行彻底不够用了核心观点：GPT-4能处理128K token、Claude支持200K、Gemini直接上百万，长上下文已经从实验室走进产品。但训练侧呢？传统流水线并行在32K以上就开始崩溃——通信开销爆炸、内存分布失衡、变长序列处理效率低下。InfiniPipe用”弹性流水线并行”重新定义了长上下文训练的范式，核心逻辑：不要让数据适配模型分割，让模型分割适配数据特征。
长上下文训练的三重噩梦训练192K token上下文的模型时，传统流水线并行会遇到灾难性问题：
噩梦1: 通信开销爆炸流水线并行在stage之间传递激活值。短序列时这不是瓶颈，但长序列让激活值大小从MB级跳到GB级：
4K token：激活值约100MB
32K token：激活值约800MB
192K token：激活值约4.8GB
你的GPU...
MegatronApp: 分布式大语言模型训练的高效全面管理工具链
MegatronApp: 训练千亿模型时，你最需要的不是算力，而是这个工具链核心观点：Megatron-LM是业界最强的分布式训练框架之一，但它只解决了”怎么训”的问题，没解决”怎么管”的问题。MegatronApp用四个正交模块补齐了生产环境最缺的那块拼图：性能追踪、资源调度、流水线优化、训练可解释性。
为什么Megatron需要一个”管家”训练175B参数的GPT-3级别模型，你需要数百张GPU协同工作数周甚至数月。这时候问题来了：
哪张GPU在偷懒？某个节点性能下降5%，但1000张GPU的集群里你找不到它，训练效率就悄悄掉了20%
资源分配不合理？前向传播吃计算，反向传播吃带宽，但你的调度器一视同仁，A100的HBM带宽优势被浪费
流水线调度僵化？1F1B（one-forward-one-backward）是固定策略，但不同workload下最优策略不同，内存峰值和吞吐量的...