您现在的位置是:热点 >>正文
蚂蚁 dInfer 框架:扩散模型推理速度提升 10 倍,超越自回归模型
热点194108人已围观
简介...
近日,蚂蚁集团开源了全新的 dInfer 框架,专门用于扩散大语言模型的高效推理。这一框架的推出标志着扩散模型在自蚂蚁然语言处理领域的应用取得了重大进展,推理速度提升至以往的10倍,并在同样模型性能下超越了传统的自回归模型。
自回归模型 d长期以来一直是自然语言处理的主流,生成文本的过程类似于一个严谨的学生逐字撰写,因而速度受到限制。而扩散模型则采用 “去In噪” 的方式生成文本,像是在处理被噪声覆盖的图片,通过逐步去除噪声来恢复清晰的图像。这种模式具有天然的并行优势,能够一次fe预测多个词语,从而提高效率。
尽管扩散模型理论上具有更高的潜力,但在实际推理中,其速度问题依然显著。为了解决这一问题,蚂r 蚁团队在 dInfer 框架中采用了创新的设计,将推理流程分为四个模块,分别为模型接入、KV 缓存管理、扩散迭代管理框架和解码策略。在并行解码方面,dInfer 通过 “层级解码” 和 “信用解码” 两种新策略有效减少了生成过程中的语义冲突,提高:扩了结果的稳定性。
在 KV 缓存方面,dInfer 提出了 “邻近 KV 缓存刷新” 策略,该策略只针对最近的上下文进行重新计算,显散模著降低了计算开销。通过这一系列技术创新,dInfer 在性能上表现优异。在与 Fast-dLLM 和 vLLM 框架的比较测型推试中,dInfer 在多个数据集上展现了卓越的推理速度和吞吐量,关闭 KV 缓存时,平均 TPS 达到了407.36,是 Fas理速t-dLLM 的6.5倍。
dInfer 框架的推出,不仅提升了扩散模型的实用性,也为自然语言处理领域的未来发展开辟了新的方度提向。
项目:https://github.com/inclusionAI/dInfer
划重点:
dInfer 框架使扩散大升 语言模型的推理速度提升10倍,超越传统自回归模型。
采用并行解码和 KV 缓存管理技术,有效解决了扩散模型的推理速度瓶颈10。
实验数据显示,dInfer 在推理性能上远超其他同类框架,显示出广泛的应用潜力。
Tags:
相关文章
标签: 雷鸟创新 雷鸟X3 Pro eSIM眼镜 AR独角兽 CES2026
热点云梦级1月5日云梦级消息,消费级AR品牌雷鸟创新(RayNeo)宣布近期完成新一轮超 10 亿元融资。本轮融资由中国移动链长基金与中信金石(旗下茅台金石、金石成长等基金)领投,中国联通旗下联创创新基金...
【热点】
阅读更多为什么投资人不担心阿里云有泡沫?
热点Fast Reading 吴泳铭表示,将在3800亿元AI基础设施的建设上,追加更大的投入。 当下资本市场的AI投资逻辑:宁愿买错,也不愿意踏空。这种对于交易资本支出的狂热是驱动阿里市值增长的原因之一...
【热点】
阅读更多2021年是否将成为高性能计算在云中的分水岭?
热点在过去的十年里,这个问题被反复地问过,而得到的回答通常是“是的,好吧,当然,很可能”。 各大云供应商都已推出了HPC云服务并稳步扩展它们。例如,AWS最近推出了基于AWS Graviton 2的C6g...
【热点】
阅读更多