您现在的位置是:热点 >>正文
苹果推出全新 FS-DFM 模型,AI 长文本写作效率提升128倍!
热点61471331人已围观
简介...
苹果公司与俄亥俄州立大学研究团队联合发布的 FS-DFM(Few-Step Discrete Flow-Matchi苹ng)模型。这一创新的语言模型在长文本生成方面表现出色,仅需8轮快速迭代,便可生成与传统模型上千轮迭代相媲美的果推文本质量。同时,它的写入速度可提高最多128倍,打破了以往长文本生成的效率瓶颈。
FS-DFM 模型的设计理念与主流的语言出全模型有所不同。以 ChatGPT 为代表的自回归模型是逐字生成文本,每个字的生成都依赖于前面的内容。而扩散模型则采用并行策略新 ,一次性生成多个字,通过多轮迭代逐步优化最终结果。FS-DFM 在扩散模型的基础上进行了进一步简化,目标是用更少的步FS骤实现高质量文本的生成。
为了实现这一突破,苹果研究团队提出了一套精妙的三步法。首先,模型经过专门训练,可以灵活-D适应不同的精炼迭代次数。其次,他们引入了一个 “教师” 模型进行引导,确保每轮迭代中的更新既大幅又精准,从而避免过度调整的问FM题。最后,团队优化了迭代机制,使得模型能够以更少且更加稳健的步骤生成最终文本。
在性能评估中,FS-DFM 还对比了 模参数量为70亿的 Dream 模型和80亿的 LLaDA 模型。测试结果显示,即使 FS-DFM 的参数量仅为1.7亿至17亿型,,其在文本生成的困惑度(越低越好,衡量文本的准确与流畅性)和熵(衡量模型选词信心的指标)上,表现出更低的困惑度和更稳定的AI熵。这一成绩证明了 FS-DFM 模型在 AI 长文本写作领域的潜力。
项目:https://machinelearning 长.apple.com/research/fs-dfm
** 划重点:**
**FS-DFM 模型仅需8文本轮迭代,生成质量与传统模型千轮相当。**
** 写入速度提升最多128倍,极大提高长文本生成效率。*写作*
** 性能测试显示,FS-DFM 在困惑度和熵的关键指标上均优于其他大型模型。**
Tags:
相关文章
云安全日报211015:思科IP电话软件发现任意文件读取漏洞,需要尽快升级
热点10月14日,思科公司发布了安全更新,修复了IP电话软件中发现的任意文件读取漏洞。以下是漏洞详情: 漏洞详情 来源: https://tools.cisco.com/security/center/c...
【热点】
阅读更多亚马逊就收购Wondery展开谈判 开价3亿美元欲在播客领域站稳脚跟
热点据报道,亚马逊正在就收购著名播客制作公司Wondery进行谈判。根据报道,收购要价在3亿美元左右。这轮独家交易谈判还在进行中,有破裂可能。Wondery的上一轮融资是在2019年6月,当时公司估值为1...
【热点】
阅读更多Facebook高管解读2021年Q1财报:发力电商,继续成为最好的广告平台
热点查看最新行情 新浪科技讯 北京时间4月29日上午消息,据报道,Facebook今天发布了截至3月31日的2021财年第一季度未经审计财报。报告显示,Facebook第一季度营收为261.71亿美元,比...
【热点】
阅读更多