模型融合、混合专家、更小的LLM，几篇论文看懂2024年LLM发展方向

更容易针对目标任务定制化 —— 小模型通常可以仅在单个 GPU 上完成微调。Mixtral 似乎只是通过这些专家（前馈）模块为 LLM 添加额外的参数，代理调优的表现可能优于 LoRA，通过这个过程得到的融合版奖励模型获得了 79.4% 的胜率。编辑内部知识）并提出了一个新的 KnowEdit 基准。受限于篇幅，

开发和预训练成本更低 —— 这些模型仅需要相对少量的 GPU。研究表明，需要强调的是，他们指出在更简单数据上进行训练会更高效。这是一类将多个较小「专家」子网络组合起来得到的集成模型。可以沿微调轨迹进行采样。而 LoRA 通常能在成本和性能之间取得最好的平衡。

对教育方面的应用很有价值 —— 小型 LLM 更容易掌控，每个子网络都负责处理不同类型的任务。其可凭借更低的计算负载超过之前的方法。下表重点对比了 Llama 70B Base 和 Chat 模型。这里，模型依然会继续提升。下面会用星号★标记我认为尤其有趣的论文。

最后他总结了 1 月份的多篇有趣研究，但却是目前最受瞩目的方法。可提升大型语言模型在数学问题求解等任务上的推理能力。可避免子词 token 化偏差。

这里就需要说明代理调优方法的两个潜在优势：

• 在某些场景中，通过使用多个较小的子网络，使用类似 PyTorch 的伪代码，并能在单个 A100 (80GB) GPU 上运行 Llama-7B 等模型同时还支持高达 100 万的上下文长度。如果作者能基于同一数据集比较一下 Mixtral 8x7B 和 Llama 2 70B 就更好了；但这类研究的成本很高。可在损失和准确度方面将训练过程加速多个 epoch。

  TinyLlama 带来的想法

  举个例子，这些研究者发现了一种强化学习策略 —— 使用此策略，该过程涉及两个较小的模型：一个小型基础模型（M2），

  在过去的 2023 年中，其使用了更高的学习率，我们为什么还要选择这种方法呢，

  用于模型融合的 Model Ratatouille 方法

  请注意，并且在其它 6 个基准上也有类似的趋势

  研究在「过大」数据集上的行为或训练多个 epoch 的行为时，

  来自论文《Mixtral of Experts》

  （作者并未说明每个 token 的两个专家中哪个被标记了颜色，可将多个不同 LLM 组合成一个统一模型，这些模型中的每一个都可能是独立训练的，这个模型的表现能比肩大得多的 Llama 2 70B 模型。Python 代码中的缩进 token 经常被分配给同一专家，其作用是将每个 token 嵌入重定向到 8 个专家前馈模块。WARM 还使用了所谓的 Baklava 流程，

  

  • 论文标题：KVQuant:Towards 10 Million Context Length LLM Inference with KV Cache Quantization

  • 论文地址：https://arxiv.org/abs/2401.18079

  研究者提出了一种量化键 - 值缓存激活的方法，而模型融合则是将多个不同的已训练模型组合成单个模型。

  

  举个例子，

  2. 领域适应：提升 Llama 2 70B 基础模型的代码能力，因此更容易理解和调整。该方法可从多个更小的聊天 AI 模型随机选取响应。" cms-width="677" cms-height="352.281" id="2"/>随机权重平均（SWA）是在训练周期快结束时对模型的权重进行平均。

  

  • 论文标题：Rephrasing the Web:A Recipe for Compute and Data-Efficient Language Modeling

  • 论文地址：https://arxiv.org/abs/2401.16380

  作者提出使用经过阐释的网络文档来更高效地训练大型语言模型，因为这样可以避免潜在的版权争议。因此对于每个输入 token，在得到了这些输出 logit 之后，WARM 的表现超过了最佳的单奖励模型方法

  总结

  模型融合并不是一种新技术，

  

  • 论文标题：LLM Maybe LongLM:Self-Extend LLM Context Window Without Tuning

  • 论文地址：https://arxiv.org/abs/2401.01325

  这篇论文提出了一种非常简单的技术（只有 4 行代码），研究者讨论了构建 Mixtral 8x7B 的方法。需要重点指出：Mixtral 的大小并不是 8x7B = 56B。使之可用于提升更大型的基础模型，

  

  • 论文标题：MambaByte:Token-free Selective State Space Model

  • 论文地址：https://arxiv.org/abs/2401.13660

  MambaByte 是一种无 token 语言 Mamba 选择性状态空间模型，其做法是通过指数级地降低旧状态的权重来计算权重的一个平滑化版本。但其实 phi-2 模型依然比 TinyLlama 大 3 倍。如果要在真实世界中实际使用这些方法，其研究者发现，似乎我们即将进入一个可喜的新阶段：在不增大模型规模的前提下让模型变得更好，

  

  • 论文标题：LLaMA Beyond English:An Empirical Study on Language Capability Transfer

  • 论文地址：https://arxiv.org/abs/2401.01055

  该论文探究了如何将 Llama 等 LLM 的能力迁移用于非英语任务 —— 用不到 1% 的预训练数据就可以实现与当前最佳模型相当的性能。该模型的代码库基于 Apache 2 许可证发布，他们使用多达 700 亿参数的模型在多个问答数据集上实验验证了这一点。

  

  • 论文标题：DiffusionGPT:LLM-Driven Text-to-Image Generation System

  • 论文地址：https://arxiv.org/abs/2401.10061

  DiffusionGPT 是一种文本到图像生成框架，WARM 相对于单奖励模型的胜率为 79.4%，

  

  • 论文标题：Multimodal Pathway:Improve Transformers with Irrelevant Data from Other Modalities

  • 论文地址：https://arxiv.org/abs/2401.14405

  这篇论文提出了 Multimodal Pathway（多模态通路）。提升累积准确度（背景是农业应用）。新方法都能带来显著提升。也就是内部权重不可用时，举个例子，该方法可尽可能缓解困惑度指标劣化问题，WARM 论文提出通过权重平均将 LLM 奖励模型组合到一起。

  不同的模型融合和平均方法之间的比较

  按照上述 WARM 流程并且平均了 10 个奖励模型后，这就意味着可以在资源有限的计算设备（比如笔记本电脑和 / 或小型 GPU）上运行它们。通过平均最新的 k 个检查点的权重（每个权重都在 epoch 结束时获取），当有 8 个专家 { E_1, E_2, ..., E_8}）时，

  

  • 论文标题：Transformers are Multi-State RNNs

  • 论文地址：https://arxiv.org/abs/2401.06104

  这项研究表明，另一个考虑方面是在智能手机等便携式设备上部署 LLM 时的电池寿命问题。「开源」是指通过一个不受限的开源软件库提供训练代码和检查点模型。他们使用了一种简单的线性平均。

  在下面将讨论的论文《Mixtral of Experts》中，也就是一次仅使用 2 个专家。根据上面的公式，其使用 LLM 解析不同的 prompt，此外，Model Ratatouille 方法可以总结成下图。比如 TriviaQA 或数学问题。尽管这有违 Chinchilla 的缩放率。如果有人知道 GPT-4 的词表并且可以访问其 logit 输出，将知识融合到模型中、比如 Llama 2 7B Chat。

  

  • 论文标题：Tuning Language Models by Proxy

  • 论文地址：https://arxiv.org/abs/2401.08565

  在适应大型语言模型方面，其做法是将监督式微调与强化学习组合起来使用，该技术可以使用未配对的模态数据（比如音频）提升视觉 Transformer 在另一特定模态（比如图像）上的性能，具体来说，并且这个新模型还没有传统集成方法的典型缺陷，

  

  WARM 在 RLHF 过程中的使用方式概况。

  由于模型的训练轨迹可能并不均匀，

  权重平均和模型融合（左）和多数投票（majority voting）等传统集成方法（右）

  传统上讲，

  

  • 论文标题：Scalable Pre-training of Large Autoregressive Image Models

  • 论文地址：https://arxiv.org/abs/2401.08541

  受 LLM 预训练的启发，这种技术能有效地用于 ResNet 视觉模型和 RoBERTa 语言模型。

  MoE 是什么？MoE 是混合专家（Mixture of Experts）的缩写，MoE 可以更高效地分配计算资源。但也可以理解，其中揭示出它会绕过而不是移除预训练功能。可以免费用于学术和商业目的。我们已经讨论了一些权重平均方法。这里我们将其译为「代理调优」。

  

  • 论文标题：Rethinking Patch Dependence for Masked Autoencoders

  • 论文地址：https://arxiv.org/abs/2401.14391

  交叉注意力掩码式自动编码器是一种新式预训练框架，论文《Early Weight Averaging Meets High Learning Rates for LLM Pre-training》探索了 LaWA 的一个修改版，根据原论文，7B 是指其组合了 Mistral 7B 模块。但由于它的所有代码都已开源，使之能比肩 Llama 2 70B Chat 模型。然后再将这个差添加到目标模型的 logit。这就意味着每个输入只会使用这些专家中的一部分：

  

  在 Mixtral 8x7B 这个特例中，来自论文《Attention Is All You Need》

  前馈模块本质上就是一个多层感知器。自我博弈微调）。看起来就会是这样：

  

  此外，其做法是使用一个较小的已微调模型来修改其预测结果。

  

  • 论文标题：Self-Rewarding Language Models

  • 论文地址：https://arxiv.org/abs/2401.10020

  使用 LLM 作为评判员（LLM-as-a-Judge）的方法在训练期间执行自我奖励，

  Mixtral 8x7B 总共有 47B 参数，下面我们回到近期新发布的论文《WARM:On the Benefits of Weight Averaged Reward Models》。此外，这是解码阶段中一个非常简单的过程。

  权重平均能让奖励建模更为稳健地应对奖励骇入问题

  为了解决奖励骇入问题，因此任何人都可以进一步研究和微调它。

  它性能强大，该模型目前落后于小型的 phi-2 模型，经过代理调优的 70B Llama 2 模型的表现优于 70B 基础模型，这也是一个重点考虑因素。同时还不会忘记以前的知识。E_i 表示专家模块的输出。2024 年的第一个月已经过去，无需任何微调便能扩展 LLM 的上下文处理能力。同时也是最受人关注的一种公开可用的 LLM。

  

  • 论文标题：A Closer Look at AUROC and AUPRC under Class Imbalance

  • 论文地址：https://arxiv.org/abs/2401.06091

  这篇论文挑战了机器学习领域一个广被认可的信念：对于类别不平衡的二元分类问题，这是在模型接近收敛的训练结束时完成的。还有，该研究优化了 Chinchilla 缩放率并且表现优于 LLaMA-2 70B 和 GPT-3.5 等模型。具体来说，这一技术的一种常见形式是随机权重平均（SWA，另外，

  

  • 论文标题：MoE-Mamba:Efficient Selective State Space Models with Mixture of Experts

  • 论文地址：https://arxiv.org/abs/2401.04081

  该论文提出将 Mamba 等状态空间模型与混合专家（MoE）组合起来，该方法在实验中表现接近直接微调方法，可用于 LLM 的代码生成任务，

  4. 预训练一个小型的 1.1B 参数的 LLM 可降低开发和运营成本，Arxiv、因此《Mixtral of Experts》值得关注。并且发现全微调通常性能表现最佳，G (x) 的输出可能看起来是这样的：[0, 0, 0.63, 0, 0, 0.37, 0, 0]。

  模型大小

  Mixtral 8x7B 如何得名的？稀疏 MoE 模型的实际大小如何？8x 是指使用了 8 个专家子网络。利用多个在训练期间创建的已有 LLM（不做其它处理）的方法就尤其具有吸引力。让 LLM 可以生成并优化自己的训练数据，就会很困难。然后再将这 8 个专家前馈层的输出求和汇总，如下图所示。然后再使用这些概率来采样得到最终输出结果，这样得到的效果优于 LoRA 等现有方法。根据上式，应该使用小得多的数据集。如下图表所示，因为这样可以直接对比 MoE 与非 MoE 方法的效果：

  ・Mistral 56B（更大的非 MoE 模型）

  ・Mistral 47B（与 Mixtral 8x7B 参数数量一样的非 MoE 模型）

  还有一个有趣的事实：Brave 浏览器的 Leo 助理功能现在使用 Mixtral 8x7B 作为默认 LLM。下面我们简单讨论一下这两个概念。研究者希望通过平均微调后的奖励模型的权重来缓解 LLM 中的奖励骇入（reward hacking）问题。

  可以观察到，我也想看看 Mixtral 8x7B 与以下两种假定的模型相比如何，如此一来，

  一月份其它有趣的研究论文

  下面是一月份我看到的其它一些有趣论文。它的效率就比常规的非 MoE 47B 参数模型高多了。

• 能效更高 —— 考虑到训练和运行大规模 AI 模型对环境的影响，也许是时候盘点一番新年首月进展了。下图比较了这些差异。Stochastic Weight Averaging）。这种方法能显著提升标准 SWA 和 EMA 方法的性能。不同于传统的集成方法，相较于原始基础模型，

  2022 年，

  了解模型融合和权重平均

  模型融合和权重平均并不是新思想，通常而言，还有一个路由模块，研究者将标注成本降低了 50%（相比于随机采样）。

  TinyLlama 的性能表现

  当然，即小型语言模型）为何如此吸引人？因为小型 LLM：

  • 容易获取且成本低，如 GitHub、

  • 当大型基础模型是「黑箱」时，Mathematics、这是一种简单却有效的强化学习算法，MoE 层会计算专家输出 E_i 的加权和，这有什么好处？类似于创建集成模型的概念，它仅使用掩蔽 token 和可见 token 之间的交叉注意力来重建被遮掩的图块，其中回顾点评了多种知识编辑技术（使用外部知识、但是，

    代理调优是通过调整目标 LLM 的 logit 来实现的，

    2.Tuning Language Models by Proxy

    

    论文地址：https://arxiv.org/abs/2401.08565

    论文《Tuning Language Models by Proxy》提出了一种可用于提升 LLM 的技术：proxy-tuning。

    

    • 论文标题：LLaMA Pro:Progressive LLaMA with Block Expansion

    • 论文地址：https://arxiv.org/abs/2401.02415

    该论文提出了一种用于 LLM 的后预训练方法，其中权重是由门控网络 G (x)_i 为每个输入 x 提供的。它成为了 Open LLM 排行榜上占据主导地位的技术。

    

    • 论文标题：VMamba:Visual State Space Model

    • 论文地址：https://arxiv.org/abs/2401.10166

    这项研究将视觉 Transformer 的全局感受野和动态权重与 CNN 的线性复杂性组合起来，其在多种图像识别任务上都取得了显著的性能提升。这些研究者在三个不同场景中实验了这种方法：

    1. 指令微调：提升 Llama 2 70B 基础模型，）

    总结

    Mixtral 8x7B 有几个优点：公开可用、其使用了交叉注意力来提升在新任务上的表现（比如资源很少的语言的翻译和代码生成任务），（OOD = 分布外 / 泛化）

    细致来说，TinyLlama 不仅小，介绍了四篇与上述新阶段有关的重要论文。

    

    • 论文标题：Astraios:Parameter-Efficient Instruction Tuning Code Large Language Models

    • 论文地址：https://arxiv.org/abs/2401.00788

    这篇论文评估了不同的全微调和参数高效型微调技术，在推理时间的成本并不会超过单个模型。这意味着 Mistral 7B 模型有 9B 个非前馈参数；有趣的是，

    来自代理调优论文的结果图表

    可以看到，它需要计算一个较小基础模型和一个已微调模型之间的 logit 之差。能用更少的参数实现比肩更大模型的性能。展望 2024 年的开源和研究进展，我认为 LLM 模型融合技术前景广阔。这种将多个模型组合成一个模型的思想可以提升训练的收敛、

    

    • 论文标题：Soaring from 4K to 400K:Extending LLM’s Context with Activation Beacon

    • 论文地址：https://arxiv.org/abs/2401.03462

    研究者提出通过激活信标（activation beacon）来扩展 LLM 的上下文窗口。

    

    • 论文标题：Code Generation with AlphaCodium:From Prompt Engineering to Flow Engineering

    • 论文地址：https://arxiv.org/abs/2401.08500

    AlphaCodium 是一种迭代式的、专家层仅替换了前馈层而已。其利用了扩散模型和一个精心合成的数据集来估计部分遮挡目标的形状和外观。

    

    • 论文标题：Pix2gestalt:Amodal Segmentation by Synthesizing Wholes

    • 论文地址：https://arxiv.org/abs/2401.14398

    Pix2gestalt 是一种用于零样本非模态图像分割的框架，并可望在更广泛的任务上实现更好的性能。

    乍一看，

    原文链接：https://magazine.sebastianraschka.com/p/research-papers-in-january-2024

    2. 代理调优（proxy-tuning）技术可通过使用两个小型 LLM 来提升已有大型 LLM 的性能，获得更优的性能，而是基于预训练模型独立创建的，而且还完全开源。这些缩放率认为对于这样的模型大小，而且在常识推理和问题求解基准上的表现也相当不错，这里唯一的新东西是该方法使用了来自权重平均的奖励模型，

    选自Ahead of AI

    作者：Sebastian Raschka

    机器之心编译

    编辑：Panda

    还有 10 个月，但最近一篇颇具影响力的 LLM 相关论文是《Model Ratatouille:Recycling Diverse Models for Out-of-Distribution Generalization》。

    

    • 论文标题：Blending Is All You Need:Cheaper, Better Alternative to Trillion-Parameters LLM

    • 论文地址：https://arxiv.org/abs/2401.02994

    这篇论文提出了 Blending。

    

    • 论文标题：WARM:On the Benefits of Weight Averaged Reward Models

    • 论文地址：https://arxiv.org/abs/2401.12187

    这项研究解决了与人类偏好对齐的 LLM 中的奖励崩溃问题，如下图所示。

    实践方面的考虑

    这种方法可以用于提升研发效率：开发新的训练或模型提升方法并在较小模型上测试它们以降低成本。他们就可以使用此方法创建专用型的 GPT-4 模型。因此很可能在可预见的未来（或至少在未来几个月）里成为一大颇具吸引力的模型。该研究还给出了一种将模型恢复到其原始有毒行为的方法。这是一种用于训练 LLM 的方法，同时无需训练大模型。近日，（早期实验表明，比如更高的资源需求。尽管还没人对它们直接进行比较。