泉源 ：硬AI

　　不到两周后，我们大概 就访问 到迄今为止最强大 的开源Llama 3模子 。

　　美东时间7月12日周五，媒体援引一名Meta Platforms的员工消息称，Meta筹划 7月23日发布旗下第三代大语言模子 （LLM）Llama 3的最大版本。这一最新版模子 将拥有4050亿参数，也将是多模态模子 ，这意味着它将可以或许 明白 和天生 图像和文本。该媒体未透露这一最强版本是否开源。

　　Meta公司拒绝对上述消息置评。周五盘中，低开的Meta股价跌幅收窄，盘初曾跌3.6%，午盘跌不敷 2%，仍将在周四大幅回落超4%后连跌两日，或将革新 6月28日以来收盘低位。

　　客岁 7月Meta发布的Llama 2有三个版本，最大版本70B的参数规模为700亿。本年 4月，Meta发布Llama 3Meta，称它为“迄今为止本领 最强的开源LLM”。当时 推出的Llama 3有8B和70B两个版本。

　　Meta CEO扎克伯格当时 称，大版本的Llama 3将有高出 4000亿参数。Meta并未透露会不会将4000亿参数规模的Llama 3开源，当时 它还在担当 练习 。

　　对比前代，Llama 3有了质的飞跃。Llama 2利用 2万亿个 token举行 练习 ，而练习 Llama 3大版本的token高出 15 万亿。

　　Meta称，由于预练习 和练习 后的改进，其预练习 和指令调优的模子 是如今 8B和70B两个参数规模的最佳模子 。在练习 后程序得到改进后，模子 的错误拒绝率（FRR）大幅降落 ，同等 性进步 ，模子 相应 的多样性增长 。 在推理、代码天生 和指令跟踪等功能方面，Llama 3相比Llama 2有极大改进，使Llama 3更易于操控。

　　4月Meta展示，8B和70B版本的Llama 3指令调优模子 在大规模多任务 语言明白 数据集（MMLU）、研究生程度 专家推理（GPQA）、数学评测集（GSM8K）、编程多语言测试（HumanEval）等方面的测评得分都高于Mistral、谷歌的Gemma和Gemini和Anthropic的Claude 3。8B和70B版本的预练习 Llama 3多种性能测评优于Mistral、Gemma、Gemini和Mixtral。

　　当时 交际 媒体的网友批评 称，根据基准测试，当前的Llama 3模子 不美满 是 GPT-4 级别的，但仍在练习 中的较大尺寸的模子 将到达 GPT-4 级别。

　　英伟达高级科学家Jim Fan以为 ，Llama 3的推出已经离开 了技能 层面的进步，更是开源模子 与顶尖闭源模子 可分庭抗礼的象征。

　　从Jim Fan分享的基准测试可以看出，Llama 3 400B 的气力 险些 媲美 Claude“超大杯”以及新版 GPT-4 Turbo，将成为“分水岭”，信托 它将开释 巨大的研究潜力，推动整个生态体系 的发展，开源社区或将能用上GPT-4级别的模子 。

　　以后 有消息称，研究职员 尚未开始对Llama 3举行 微调，还未决定Llama 3是否将是多模态模子 ；正式版的Llama 3将会在本年 7月正式推出。

　　差别 于OpenAI等开辟 商，Meta致力于开源LLM，不外 ，这个赛道也越来越拥挤。谷歌、特斯拉CEO马斯克旗下的xAI和Mistral 等竞争对手也发布了免费的AI模子 。

　　Llama 3问世后，同在4月表态 的4800亿参数模子 Arctic击败Llama 3、Mixtra，革新 了环球 最大开源模子 的记录 。

　　Arctic基于全新的Dense-MoE架构计划 ，由一个10B的稠密Tranformer模子 和128×3.66B的MoE MLP构成 ，并在3.5万亿个token上举行 了练习 。相比Llama 3 8B和Llama 2 70B，Arctic所用的练习 盘算 资源不到它们的一半，评估指标却取得了相称 的分数。