v3.783 安卓版
v6.236.2298.235032 安卓免費版
v6.340.6544 IOS版
v8.616.1532 安卓漢化版
v7.825 安卓最新版
v1.583.622 IOS版
v9.848.5906.403730 IOS版
v3.180.5940.790234 安卓最新版
v3.566 IOS版
v3.682.6510.3091 最新版
v7.25 IOS版
v3.47.570.148510 安卓最新版
v8.74.4548.540622 安卓漢化版
v2.101.4483.379777 安卓最新版
v8.257.1129.535477 安卓最新版
v1.270.9909 安卓漢化版
v1.31.6547.771269 安卓免費版
v7.279.7626 安卓版
v2.529.9408.399635 IOS版
v4.407.2170.722593 安卓漢化版
v3.430 PC版
v6.485.8324.687965 安卓漢化版
v7.272.5442 安卓漢化版
v3.610.9068 最新版
v5.155.2899.161360 安卓漢化版
v7.579.166 最新版
v8.551 PC版
v6.347 IOS版
v2.113.6241 最新版
v2.374.9112.882793 PC版
v5.556.5532.710150 安卓漢化版
v5.53.5788.994132 PC版
v4.844 IOS版
v3.752.553.111454 最新版
v7.289.1356 IOS版
v4.694.6483.309907 IOS版
v5.133.7148 最新版
v2.291.3966.173874 安卓漢化版
v2.605 安卓版
v1.872.5200 安卓版
v4.635.436.759733 安卓漢化版
v7.952.7732.920431 安卓漢化版
v7.322.6564.515741 PC版
v8.975 安卓漢化版
v4.717.4687.712128 IOS版
v8.135.5220.554993 IOS版
v7.318.8862.763475 安卓漢化版
v6.618 安卓漢化版
v4.868.3986.661975 PC版
v7.990.5816.659751 最新版
v2.357 安卓免費版
v7.308.3253.581659 IOS版
v6.478.9972.877536 安卓免費版
v3.86.9732.80426 安卓版
v9.166.2957 安卓免費版
v8.370.9966.372207 安卓免費版
v4.994 安卓免費版
v8.418 安卓免費版
v8.848.4100.563574 安卓免費版
v8.10.1692 安卓漢化版
v2.414 安卓免費版
v3.822.531.70037 安卓免費版
v9.115 IOS版
v6.683.4882.979147 安卓版
v4.242.6161.299049 PC版
v3.848.4191.894337 IOS版
v3.306.2031.107033 安卓版
v5.949.1265.140549 IOS版
v3.174.4931.93439 最新版
v6.479.6137 安卓版
v1.533.9815.46530 安卓最新版
v8.557.163.448 最新版
v3.201.4808.300155 安卓免費版
v2.613.531.218190 安卓漢化版
v1.697.6255.742916 安卓漢化版
v9.333.9711 安卓漢化版
v1.631 PC版
v5.818.6365.438574 最新版
v5.878.6203 最新版
v9.421.3838 安卓版
亚赢国际平台
梦晨 发自 凹非寺量子位 | 公众号 QbitAI
GPU编程变天了。
英伟达发布最新版CUDA 13.1,官方直接定性:这是自2006年诞生以来最大的进步。
核心变化是推出全新的CUDA Tile编程模型,让开发者可以用Python写GPU内核,15行代码就能达到200行CUDA C++代码的性能。
消息一出,芯片界传奇人物Jim Keller立即发问:
英伟达是不是亲手终结了CUDA的“护城河”?如果英伟达也转向Tile模型,AI内核将更容易移植到其他硬件上。
Jim Keller参与设计过AMD Zen架构、苹果A系列芯片、特斯拉自动驾驶芯片的”硅仙人”,他的判断在行业里相当有分量。
那么问题来了:CUDA这次到底改了什么?为什么会被认为是”自毁长城”?
GPU编程范式从“线程”到“瓦片”
要理解这次更新的意义,得先回顾一下传统CUDA编程有多折磨人。
过去20年,CUDA一直采用SIMT(单指令多线程)模型,开发者写代码时,需要手动管理线程索引、线程块、共享内存布局、线程同步,每一个细节都要自己操心。
想要充分利用GPU性能,特别是用上Tensor Core这类专用模块,更是需要深厚的经验积累。
CUDA Tile彻底改变了这套玩法:
开发者不再需要逐线程地编写执行路径,而是把数据组织成Tile(瓦片),然后定义在这些Tile上执行什么运算。至于怎么把这些运算映射到GPU的线程、Warp和Tensor Core上,编译器和运行时会自动搞定。
就好像NumPy之于Python。
英伟达为此构建了两个核心组件:
CUDA Tile IR是一套全新的虚拟指令集,它在高级语言和硬件之间加了一层抽象,确保基于Tile编写的代码能在不同代际的GPU上运行,从当前的Blackwell到未来的架构都能兼容。
cuTile Python则是面向开发者的接口,直接用Python写GPU内核,门槛一下子从“HPC专家“降到了”会写Python的数据科学家都可以干。
另外,这次更新还带来了一系列面向Blackwell的性能优化:
cuBLAS引入了FP64和FP32精度在Tensor Core上的仿真功能新增的Grouped GEMM API在MoE(混合专家模型)场景下能实现高达4倍加速cuSOLVER的批处理特征分解在Blackwell RTX PRO 6000上相比L40S实现了约2倍的性能提升开发者工具Nsight Compute新增了对CUDA Tile内核的性能分析支持,可以把性能指标直接映射回cuTile Python源代码。
目前CUDA Tile仅支持Blackwell架构(计算能力10.x和12.x),开发重点集中在AI算法上。英伟达表示未来会扩展到新万博体育:架构,并推出C++实现。
硅仙人的质疑:降低门槛是一把双刃剑
那么Jim Keller为什么说英伟达可能”终结了自己的护城河”?
关键就在于Tile编程模型不是英伟达独有的。AMD、Intel以及其他AI芯片厂商的硬件,在底层架构上同样可以支持基于Tile的编程抽象。
过去CUDA难以移植,很大程度上是因为SIMT模型与英伟达硬件深度绑定,开发者要针对具体的GPU架构手写优化代码。这些代码换到别家硬件上,要么跑不了,要么性能大打折扣。
但Tile模型天然具有更高的抽象层次。当开发者习惯了“只管定义Tile运算,硬件细节交给编译器”这种思维方式后,理论上同一套算法逻辑更容易适配到其他支持Tile编程的硬件上。
正如Jim Keller所说:”AI内核将更容易移植。”
不过英伟达也考虑了后手,CUDA Tile IR提供了跨代兼容性,但这种兼容性是建立在CUDA平台之上的。
开发者写的代码确实更容易移植了,但移植的目标是英伟达自家的不同代GPU,而非竞争对手的硬件。
从这个角度看,CUDA代码可以从Blackwell无缝迁移到下一代英伟达GPU,但要迁移到AMD或Intel的平台上,依然需要重写。
不管护城河是加深还是削弱,有一点是确定的:GPU编程的门槛确实在大幅降低。
过去能熟练驾驭CUDA的开发者是稀缺资源,会写Python的人一抓一大把,但能把代码优化到跑满Tensor Core的专家寥寥无几。
CUDA Tile和cuTile Python打通了这个瓶颈。英伟达在开发者博客中提到,一个15行的Python内核性能可以媲美200行手动优化的CUDA C++代码。
大量数据科学家和AI研究者从此可以直接上手写高性能GPU代码,不用再等HPC专家来帮忙优化。
参考链接:[1]https://developer.nvidia.com/blog/focus-on-your-algorithm-nvidia-cuda-tile-handles-the-hardware[2]https://x.com/jimkxa/status/1997732089480024498
相关版本
多平台下载
查看所有0条评论>网友评论