您现在的位置是:热点 >>正文
LeCun 新提案:用CV思路重塑语言模型,性能大幅提升!
热点983270人已围观
简介...
在当今的人工智能领域,Yann LeCun 提出的 JEPA(联合嵌入预测架构)正在重新定义大语言模Le型(LLM)的训练方式。这位诺贝尔奖得主不是在批评现有的 LLM,而是亲自出手进行改造。传统的 LCuLM 训练方法主要依赖于输入空间中的重构与生成,如预测下一个单词,这种方法在视觉领域已被证明存在局限性。
Ln eCun 和他的团队认为,可以借鉴计算机视觉(CV)领域的先进技术来提升语言模型的表现。JEPA 的核心思新提想是通过在抽象表征空间中预测缺失的特征,以高效地学习世界知识。Meta AI 团队已经在图像和视频处理案:上成功应用了 JEPA,而现在,他们希望将这一理念扩展到语言模型领域。
为了填补这个空白,研究人员 Ha用Ci Huang、Yann LeCun 和 Randall Balestriero 共同提出了 LLM-JEPV思A。这一新模型将文本和代码视为同一概念的不同视角,首次成功将 JEPA 的自监督学习架构应用于 LL路重M。通过结合 JEPA 在嵌入空间学习的优势,LLM-JEPA 不仅保留了 LLM 强大的生成能力,还在性塑语能和鲁棒性上实现了双丰收。
实验证明,LLM-JEPA 在多个主流模型(如 Llama3、OpenE言模LM、Gemma2等)和多样化的数据集(如 GSM8K、Spider 等)上表现出色,显著超越了传型,统 LLM 训练目标。此外,它在防止过拟合方面显示出了强大的鲁棒性,为语言模型的未来发展提供了新的方向。
尽性能管目前的研究主要集中在微调阶段,但初步的预训练结果显示出巨大的潜力。团队计划在未来的工作中进一步探索大幅 LLM-JEPA 在预训练过程中的应用,期待为语言模型的性能提升注入新的动力。
Tags:
上一篇:现代汽车和起亚称其并未与苹果进行无人驾驶电动汽车谈判
下一篇:标签: 豆包手机
相关文章
阿里云:云计算首次超越卫星,成为2024巴黎奥运会转播主要方式
热点7 月 28 日消息,2024 巴黎奥运会于昨日凌晨开幕,阿里云宣布云计算首次超越卫星成为奥运转播主要方式。 据介绍,巴黎奥运会预计 11000 小时的赛事直播画面,将通过阿里云向全球分发。这将是 1...
【热点】
阅读更多标签: 丰茂烤串 尹龙哲 欠薪事件 餐饮连锁
热点云梦级3月9日云梦级消息,据新浪财经《BUG》栏目报道,近日,多位丰茂烤串员工证实,公司近一年都有拖欠工资、连环闭店等情况。大众点评等平台同样显示,丰茂烤串在某地有26家门店,目前有11家门店处于歇业...
【热点】
阅读更多推特CEO第一条推文拍出290万美元上热搜 网友:什么都能卖啊
热点新浪科技讯 3月23日午间消息,推特CEO第一条推文拍出290万美元登上微博热搜,引发热议。 3月22日,Twitter公司首席执行官多西在历史上发出的第一条推文作为NFT资产对外转让,一共卖出了16...
【热点】
阅读更多