加速替代CUDA!摩尔线程开源vLLM

休闲 2024-12-26 06:36:52 43

11月5日消息,加速近日,替代摩尔线程上线了大语言模型高速推理框架开源项目vLLM的线程MUSA移植版本,为开发者提供基于摩尔线程全功能GPU进行开源项目MUSA移植的开源范例。

摩尔线程表示,加速正努力围绕自主研发的替代统一系统架构GPU、MUSA软件平台,线程构建完善好用的开源MUSA应用生态。 

加速替代CUDA!摩尔线程开源vLLM

vLLM是加速一个高效且易用的大模型推理和服务框架,支持创新的替代PagedAttention内存管理、连续批处理请求、线程CUDA/HIP图的开源快速模型执行、CUDA核心优化、加速分布式推理支持等,替代可显著提高大语言模型(LLM)的线程推理性能。

目前,vLLM已在各种大语言模型中得到广泛应用,成为业界常用的开源大模型推理框架。

摩尔线程基于vLLM v0.4.2版本,进行了移植适配,使之支持摩尔线程GPU后端Device,并完全开源,开发者可以二次开发、升级vLLM到社区更新版本等。

值得一提的是,得益于摩尔线程MUSA架构的先进性、软件栈对CUDA的优良兼容性,通过MUSIFY代码自动转换工具,用户可以快捷地将原有的CUDA代码迁移到MUSA平台,实现替代。

同时,CUDA相关库的调用,也可以快速替换为相应的MUSA加速库,如算子库muDNN、集合通信库MCCL、线性代数库muBLAS等。

摩尔线程通过MUSA软件栈对CUDA软件栈接口兼容,大幅提升了应用移植的效率,缩短了开发周期,还提供MUSIFY自动代码移植工具等一系列实用工具和脚本。

摩尔线程vLLM-MUSA开源地址:

https://github.com/MooreThreads/vLLM_musa

本文地址:http://l7vyb.angougou.net/html/00f91999080.html
版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。

全站热门

新研究:运动20分钟可抵消熬夜伤害

NVIDIA AI芯片被疯抢!哪家大厂拥有最多GPU

[流言板]调整状态!快船主场大比分不敌森林狼,主场9连胜被终结

纳斯:火箭不断有球员站出来 申京太出色了 范弗里特是个赢家

[流言板]致胜篮板!AD关键时刻两罚不中,八村垒点出前场板锁定胜局

欧文:球鞋品牌就像一个商场 希望人们体验的同时成为其中一部分

小宝继续冲😍李月汝欧女杯10中7砍下19分9板3助 正负值高达+41

马刺代理主帅:索汉康复进程比预期要快 现在能进行跑步等活动了

友情链接