就在刚刚【YRZ-054】働くオンナ喰い 2 美脚看護師を食い散らかす！！，Meta 定期发布了 Llama 3.1 模子。
通俗来说，最新发布的 Llama 3.1 405B 是 Meta 迄今为止最重大的模子，亦然全球咫尺最重大的开源大模子，更是全球最强的大模子。
从今天起，不需要再争论开源大模子与闭源大模子的孰优孰劣，因为 Llama 3.1 405B 用无可辩论的实力证明阶梯之争并不影响最终的期间实力。
先给大众回来一下 Llama 3.1 模子的特质：
包含 8B、70B 和 405B 三个尺寸，最大高下文栽培到了 128K，支撑多言语，代码生成性能优秀，具有复杂的推理才智和器具使用技巧从基准测试完了来看，Llama 3.1 向上了 GPT-4 0125，与 GPT-4o、Claude 3.5 互有输赢提供盛开/免费的模子权重和代码，许可证允许用户进行微调，将模子蒸馏到其他体式，并支撑在职何场合部署提供 Llama Stack API，便于集成使用，支撑和谐多个组件，包括调用外部器具附上模子下载地址：
https://huggingface.co/meta-llama https://llama.meta.com/
超大杯登顶全球最重大模子，中杯大杯藏惊喜本次发布的 Llama 3.1 共有 8B、70B 和 405B 三个尺寸版块。
从基准测试完了来看，超大杯 Llama 3.1 405B 全方向耐压了 GPT-3.5 Turbo、大部分基准测试得分向上了 GPT-4 0125。
而靠近 OpenAI 此前发布的最强闭源大模子 GPT-4o 和第一梯队的 Claude 3.5 Sonnet，超大杯依然有着一战之力，致使不错仅从纸面参数上说，Llama 3.1 405B 标记着开源大模子初度追上了闭源大模子。
具体细分到基准测试完了，Llama 3.1 405B 在 NIH/Multi-needle 基准测试的得分为 98.1，固然比不上 GPT-4o，但也标明其在处理复杂信息的才智上号称完好。
而况 Llama 3.1 405B 在 ZeroSCROLLS/QUALITY 基准测试的得分为 95.2，也意味着其具有重大整合无数文本信息的才智，这些完了标明，LLaMA3.1 405B 模子在处理长文本方面出色，关于暖和 LLM 在 RAG 方面性能的 AI 应用建造者来说，可谓口角凡友好。
尤为暖和的是，Human-Eval 主淌若崇拜测试模子在相连和生成代码、搞定概述逻辑才智的基准测试，而 Llama 3.1 405B 在与其他大模子的比拼中亦然稍占优势。
除了主菜 Llama 3.1 405B，虽为配菜的 Llama 3.1 8B 和 Llama 3.1 70B 也演出了一出「以小胜大」的好戏。
就基准测试完了来看，Llama 3.1 8B 险些碾压了 Gemma 2 9B 1T，以及 Mistral 7B Instruct，合座性能致使比 Llama 3 8B 都有权贵栽培。Llama 3.1 70B 更是能越级校服 GPT-3.5 Turbo 以及性能阐扬优异的 Mixtral 8×7B 模子。
据官方先容，在此次发布的版块中，Llama 照看团队在 150 多个涵盖多种言语的基准数据集上对模子性能进行了评估，以及团队还进行了无数的东谈主工评估。
最终得出的论断是：
咱们的旗舰模子在多种任务上与顶尖的基础模子，如 GPT-4、GPT-4o 和 Claude 3.5 Sonnet 等，具有竞争力。同期，咱们的微型模子在与参数数目临近的闭塞和盛开模子比拟时，也展现出了竞争力。
Llama 3.1 405B 是怎么真金不怕火成的那 Llama 3.1 405B 是怎么实践的呢？
据官方博客先容，算作 Meta 迄今为止最大的模子，Llama 3.1 405B 使用了向上 15 万亿个 token 进行实践。
为了收尾这种鸿沟的实践并在短时期内达到预期的成果，照看团队也优化了通盘这个词实践堆栈，在向上 16000 个 H100 GPU 上进行实践，这亦然第一个在如斯大鸿沟上实践的 Llama 模子。
团队也在实践过程中作念了一些优化，要点是保抓模子建造过程的可彭胀性和通俗性：
遴荐了仅进行少许改动的范例解码器 Transformer 模子架构，而不是羼杂人人模子，以最大行动地提高实践褂讪性。给与了一种迭代后实践关节，每一轮都使用监督微合股径直偏好优化。这使得照看团队能够为每轮创建最高质料的合成数据，并栽培每项功能的性能。相较于旧版 Llama 模子，照看团队纠正了用于预实践和后实践的数据数目和质料，包括为预实践数据建造更预处理和经管管谈，为后实践数据建造更严格的质料保证与过滤样式。Meta 官方暗意，在 Scaling Law 的影响之下，新的旗舰模子在性能上向上了使用疏导样式实践的微型模子。
照看团队还诓骗了 405B 参数模子来栽培微型模子的实践后质料。
为了支撑 405B 鸿沟模子的大鸿沟坐褥推理，成人网址导航照看团队将模子从 16 位（BF16）精度量化到 8 位（FP8）精度，这么作念有用减少了所需的有计划资源，并使得模子能够在单个工作器节点内运行。
Llama 3.1 405B 还有一些值得发掘的细节，比如其在野心上防备实用性和安全性，使其能够更好地相连和扩充用户的教导。
通过监督微调、拒绝采样和径直偏好优化等样式，在预实践模子基础上进行多轮对皆，构建聊天模子，Llama 3.1 405B 也能够更精准地相宜特定的使用场景和用户需求，提高实质应用的阐扬。
值得一提的是，Llama 照看团队使用合成数据生成来产生绝大多数 SFT 示例，这意味着他们不是依赖真实寰宇的数据，而是通过算法生成的数据来实践模子。
此外，照看团队团队通过屡次迭代过程，足下纠正合成数据的质料。为了确保合成数据的高质料，照看团队给与了多种数据处理期间进行数据过滤和优化。
通过这些期间，团队能够彭胀微调数据量，使其不仅适用于单一功能，而是不错跨多个功能使用，加多了模子的适用性和活泼性。
通俗来说，这种合成数据的生成和处理期间的应用，其作用在于创建无数高质料的实践数据，从而有助于栽培模子的泛化才智和准确性。
算作开源模子阶梯的拥趸，Meta 也在 Llama 模子的「配套设施」上给足了忠诚。
Llama 模子算作 AI 系统的一部分，支撑和谐多个组件，包括调用外部器具。发布参考系统和开源示例应用关节，饱读舞社区参与和诱骗，界说组件接口。通过「Llama Stack」范例化接口，促进器具链组件和智能体应用关节的互操作性。模子发布后，通盘高等功能对建造者盛开，包括合成数据生成等高等责任流。Llama 3.1 405B 内置器具大礼包，包含环节形貌，简化从建造到部署的进程。值得谨防的是，新开源契约里，Meta 不再讳饰用 Llama 3 来纠正其他模子了，这其中也包括最强的 Llama 3.1 405B，真·开源大善东谈主。
附上 92 页论文实践说明地址：
https://ai.meta.com/research/publications/the-llama-3-herd-of-models/
一个由开源引颈的新时间网友 @ZHOZHO672070 也火速在 Hugging Chat 上测试了一下 Llama 3.1 405B Instruct FP8 对两个经典问题的复兴情况。
缺憾的的是， Llama 3.1 405B 在搞定「9.11 和 9.9 谁更大」的不毛上遭逢翻车，不外再次尝试之下，又给出了正确谜底。而在「我一把把把住了」的拼音标注上，其阐扬也尚可。
网友更是只用了不到 10 分钟的时期，就使用 Llama 3.1 模子快速构建和部署了一个聊天机器东谈主。
另外，Llama 里面科学家 @astonzhangAZ 也在 X 上表示，其照看团队咫尺正在计划将图像、视频和语音功能集成到 Llama 3 之中。
开源和闭源之争，在大模子时间依然不时着，但今天 Meta Llama 3.1 新模子的发布为这场申辩画上了句号。
Meta 官方暗意，「到咫尺为止，开源大型言语模子在功能和性能方面大多逾期于闭塞式模子。当今，咱们正迎来一个由开源引颈的新时间。」
Meta Llama 3.1 405B 的出身证明了一件事情，模子的才智不在于开或闭，而是在于资源的干预、在于背后的东谈主和团队等等，Meta 遴荐开源简略出于好多成分，但总会有东谈主扛起这面大旗。
而算作第一个吃螃蟹的巨头，Meta 也因此得益了首个卓越最强闭源大模子的 SOTA 名称。
Meta CEO 扎克伯格在今天发布的长文《Open Source AI Is the Path Forward》中写谈：
「从来岁启动，咱们瞻望改日的 Llama 将成为业内着手进的。但在此之前，Llama 一经在开源性、可修改性和资本着力方面最初。」
开源 AI 模子简略也志不在卓越闭源，或出于期间平权，不会让其成为少数东谈主谋利的技能，或出于世东谈主拾柴火焰高，鼓动 AI 生态的茂密发展。
色狼窝正如扎克伯格在其长文末尾所描绘的愿景那样：
我信服 Llama 3.1 版块将成为行业的一个转化点，大多数建造东谈主员将启动转向主要使用开源期间，我期待这一趋势从当今启动抓续发展……共同费力于将 AI 的福祉带给全球的每一个东谈主。
#接待暖和爱范儿官方微信公众号：爱范儿（微信号：ifanr），更多精彩内容第一时期为您送上。
爱范儿|原文相连· ·新浪微博【YRZ-054】働くオンナ喰い 2 美脚看護師を食い散らかす！！