NVIDIA Developer Blog· Tanya Lenz·· 3 小时前AI 评分31
NVIDIA CUDA Tile 用高性能前向传播内核加速 Mamba-2
Accelerating Mamba-2 with High-Performance Forward Pass Kernels in NVIDIA CUDA Tile
AI 导读
NVIDIA 在 CUDA Tile(cuTile)中实现 Mamba-2 高性能前向传播内核,用 Python 编写 GPU 内核即可获得峰值性能。cuTile 是面向 NVIDIA GPU 的 Python DSL 与并行编程模型,将线程级和 warp 级调度抽象为高层、以 tile 为中心的编程原语,由编译器自动完成优化。
来源:NVIDIA Developer Blog · developer.nvidia.com