READING MODE

20–25%利用率,Meta用TLX把GPU性能榨出2倍

Meta的工程师在领英上晒出了一组数字:在数千块英伟达Blackwell GPU上训练GEM模型,端到端模型浮点运算利用率(MFU)做到 20–25% ,前向传播最高提速 2倍 。支撑这组数字的,是Meta自研的Triton低层扩展(Triton Low-Level Extensions,TLX)。 TLX要解决的问题很具体:现代GPU架构提供了warp特化、异步内存搬运、张量内存、集群级执行这些

READ

20–25%利用率,Meta用TLX把GPU性能榨出2倍

360直播赛事平台-足球篮球比赛 192 阅读 约 5.5 分钟

Meta的工程师在领英上晒出了一组数字:在数千块英伟达Blackwell GPU上训练GEM模型,端到端模型浮点运算利用率(MFU)做到 20–25% ,前向传播最高提速 2倍 。支撑这组数字的,是Meta自研的Triton低层扩展(Triton Low-Level Extensions,TLX)。 TLX要解决的问题很具体:现代GPU架构提供了warp特化、异步内存搬运、张量内存、集群级执行这些性能优化能力,但它们偏离了Triton的传统编程模型。Triton简化了内核开发,代价是把低层执行结构抽象掉了。 举个Meta工程师给出的例子:一个现代FlashAttention内核,可能让一个warp组专门发起TMA传输,另一个warp组执行张量核心计算。一个Blackwell GEMM内核,则可能同时协调多个warp组、TMEM分配和集群资源。这两种情况下,性能不只取决于算了什么,还取决于多个执行单元怎么配合。 要用上这些能力,过去得写“大量架构特定的编排代码”,因为它们并不是Triton编译器现成的抽象。TLX的定位,就是让工程师在保留Triton编程模型的同时,对GPU执行拿到显式控制权。 为此TLX引入了一个新的执行模型——多指令多warp(Multiple Instructions, Multiple Warps,MIMW),在CUDA的线程级控制和Triton的块级抽象之间搭桥。它从五个方向扩展Triton: warp组编排 同步 内存编排 集群执行 可选布局 合起来看,TLX占的是Triton的生产力和CUDA的控制力之间的那块空间。开发者保留Python、自动调优、分块张量编程的好处,同时直接拿到那些越来越决定现代GPU性能的执行结构。 Meta披露,TLX已在生产环境部署数月,跑在三个主要负载上。除了GEM训练,还有推荐推理中的内核内广播优化(In-Kernel Broadcast Optimization,IKBO):在H100上,一个线性压缩内核提速 4倍 ,协同设计的模型里计算密集型网络延迟最多降低 三分之二 。第三块是LLM预训练的分布式分组GEMM,在大规模GPU集群、长时间训练的场景下改善了性能、可靠性和可维护性。 AI工程师Kritika Choudary在领英上评论说,她当年在M2上用Metal从零写Flash Attention时,大部分思考都花在把tile加载进threadgroup内存、以及把屏障放在哪里,看到TLX把这些显式化是件好事。Amirul Islam则强调,把warp组交接显式化、同时让布局保持可选,是一条有用的边界——生产者/消费者流水线在源码里看得见,又不必让每个融合阶段都从手动布局记账开始。 Meta的计划是继续扩展TLX:增加对更多英伟达、AMD以及自定义加速器架构的支持,通过更高层抽象自动化warp组编排,并把TLX与torch.compile集成。 特别

about image
返回资讯列表
觉得有用?分享给朋友

让更多人看到这篇内容

推荐阅读