全球首个开源“GPT-4级模型”：Llama3震撼发布

总述:Meta Llama 3语言模型的开源,标志着AI技术民主化进程的重大进展。这一顶级算法的加入,将极大激发全球开发者的创新活力,加速自然语言处理、知识问答等领域的发展。作为美国科技巨头在通用人工智能(AGI)竞赛中的重磅力作,Llama 3也为各国争夺话语权提供了新的着力点。对于国内同行而言,这既是机遇也是挑战。

        北京时间2024年4月19日凌晨,Facebook母公司Meta如约发布了全新的语言大模型Llama 3,让业内为之一振。他们面向全球开放了两个版本:参数量为80亿的基础版和700亿的旗舰版,横跨预训练和指令微调两大类别,满足不同的应用场景需求。这些模型均基于当前最先进的Transformer神经网络架构,并采用监督式微调(SFT)与人类反馈强化学习(RLHF)相结合的混合调优策略,在保证高质量输出的同时,充分吸收人类偏好,大幅提升了交互体验。Llama 3在一系列业界公认的基准测试中交出亮眼成绩单,表现尤其突出的是对话领域,堪与ChatGPT等商业独角兽一较高下。这个开源的"嗷嗷兽",实力之强劲、用途之广泛,令人惊叹。

登峰造极的技术革新

为打造这款"魔兽",Meta工程师们可谓呕心沥血,在底层架构、数据处理、硬件优化等方面频频发力。

首先,他们将输入文本的上下文理解窗口从此前的4096扩大到8192。这意味着Llama 3能够在更长的序列上建立联系,捕捉到更细微的语义nuance。举例来说,当我们讨论一部长篇小说的情节时,之前的模型可能只能利用最近几段的信息,而Llama 3则能够纵览全局,形成更连贯、自然的表达。这种"通盘式"的理解能力,正是其在文本生成、对话应答等任务上出类拔萃的奥秘所在。

其次,Meta团队自主研发了一种分组查询注意力(GQA)机制,大幅压缩了推理过程中的数据读取量。传统的Transf