LLM原理综述.md · CoderWillYan/Learn-LLM-Easily

# LLM原理综述

[toc]

## 说明

- GitHub 链接*:*  (https://github.com/RUCAIBox/LLMSurvey)
- 英文原文链接：(https://arxiv.org/abs/2303.18223)
- 注：本文为英文综述论文《*A* *Survey* *of* *Large* *Language* *Models*》的翻译稿件

## 背景

自从 20 世纪 50 年代图灵测试被提出以来，人类一直在探索如何用机器掌握语言智能。语言本质上是一种由语法规则支配的复杂的人类表达系统，开发有能力理解和掌握一门语言的人工智能（AI）算法是一个重大挑战。

作为一种主要的语言理解和生成方法，语言建模在过去的二十年中得到了广泛的研究，其从统计语言模型发展为神经语言模型。

近年来，通过在大规模语料库上预训练，基于 Transformer架构的预训练语言模型在解决各种自然语言处理任务方面表现出强大的能力。由于研究人员发现扩大模型规模可以提高模型能力，因此他们通过将参数增加到更大的尺寸来进一步研究该效应。有趣的是，当参数规模超过一定水平时，这些规模扩大的语言模型的性能不仅得到了显著提升，而且还表现出一些小规模语言模型（如 BERT）所不具备的特殊能力（如上下文学习）。

为了区分不同参数规模下的语言模型，研究团体创造了术语--大语言模型（LLM）代指大型的预训练语言模型（如包含数百亿或数千亿个参数）。

近年来，学术界和业界极大的推进了针对大语言模型的研究，并在该方向取得了显著的进展，如 ChatGPT（一种基于 LLM 开发的强大 AI 聊天机器人）的推出，引起了社会的广泛关注。大语言模型的技术发展对整个 AI 社区产生了重要影响，这将彻底改变我们开发和使用 AI 算法的方式。

### 语言模型的四个发展阶段

语言是人类表达和交流的突出能力，它在儿童早期发展并在一生中不断演变。然而，机器不能自然地掌握以人类语言形式理解和交流的能力，除非配备了强大的人工智能算法。实现这一目标，让机器像人类一样阅读、写作和交流，一直是一个长期的研究挑战 。

从技术上讲，语言建模是提高机器语言智能的主要方法之一。一般来说，语言建模旨在对词序列的生成概率进行建模，以预测未来（或缺失）单词的概率。语言建模的研究在文献中受到了广泛关注，可以分为四个主要发展阶段：

- **统计语言模型 *(SLM)***： SLMs  基于统计学习方法开发，并在 20 世纪 90 年代兴起。其基本思想是基于马尔可夫假设建立词预测模型，例如根据最近的上下文预测下一个词。具有固定上下文长度 *n* 的 SLM 也称为 *n*-gram 语言模型，例如 bigram 和 trigram 语言模型。SLM 已被广泛应用于提高信息检索  和自然语言处理  的任务性能。然而，它们通常受到维数灾难的困扰：由于需要估计指数级数量的转换概率，因此很难准确估计高阶语言模型。因此，专门设计的平滑策略，如回退估计和 Good–Turing 估计已被引入以缓解数据稀疏问题。
- **神经语言模型 *(NLM)***：NLM使用神经网络（例如循环神经网络）来刻画词序列的概率。作为一个显著贡献，*A neural probabilistic language model*的工作引入了词的分布式表示概念，并在聚合上下文特征（即分布式词向量）的条件下构建词预测函数。通过扩展学习词或句子有效特征的想法，已有研究开发了一种通用神经网络方法来为各种自然语言处理任务构建统一解决方案 。此外，word2vec 被提出来构建一个简化的浅层神经网络，用于学习分布式词表示，这些表示在各种自然语言处理任务中被证明非常有效。这些研究开创了将语言模型用于表示学习（超越词序列建模），对自然语言处理领域产生了重要影响。

- **预训练语言模型 *(PLM)***：作为早期尝试，ELMo 被提出来通过预训练一个双向 LSTM（biLSTM）网络（而不是学习固定的词表示）来捕捉上下文感知的词表示，然后根据特定的下游任务微调 biLSTM 网络。进一步，基于自注意力机制的高度并行化 Transformer 架构，BERT 作为双向语言模型，在大规模无标签语料库上使用专门设计的预训练任务。这些预训练的上下文感知词表示作为通用语义特征非常有效，极大地提高了自然语言处理任务的性能。这项研究激发了大量后续工作，确立了“预训练和微调”学习范式。遵循这一范式，已经建立了大量关于预训练语言模型的研究，引入了不同的架构例如 GPT-2 和 BART ），或者改进的预训练策略。在这个范式中，通常需要对预训练语言模型进行微调以适应不同的下游任务。

- **大语言模型 (*LLM*)**：研究人员发现，扩展预训练语言模型（例如扩展模型大小或数据大小）通常会提高下游任务的模型容量（即遵循扩展定律 ）。许多研究通过训练越来越大的 PLM（例如 175B 参数的 GPT-3 和 540B 参数的 PaLM）来探索性能极限。尽管扩展主要在模型大小方面进行（具有类似的架构和预训练任务），但这些大尺寸的预训练语言模型表现出与较小的预训练语言模型（如 330M 参数的 BERT和 1.5B 参数的 GPT-2）不同的行为，并在解决一系列复杂任务中展示了惊人的能力（称为涌现能力）。例如，GPT-3 可以通过上下文学习解决少样本任务，而 GPT-2 则表现不佳。因此，研究界为这些大型预训练语言模型命名为“大语言模型 (LLM)”。LLM 的一个显著应用是 ChatGPT2，它将 GPT 系列的 LLM 应用于对话，展现了惊人的与人类对话的能力。

> 语言模型的发展经历了统计语言模型、神经语言模型、 预训练语言模型和大语言模型4个阶段。其结构从基于统 计概率发展到基于神经网络，模型复杂度不断增加，能力也 出现了质的提升。 
>
> 1） 统计语言模型 最初的语言模型是基于统计概率的，即根据语料统计出 在某个上下文出现某个词的概率，根据概率选择最合适的词。
>
>  2） 神经语言模型 文献首次将神经网络引入语言模型。常见的模型结 构有循环神经网络 （RNN） 、长短期记忆网络 （LSTM）等。RNN用隐藏层保存逐个输入的词的信息，但由于梯度 消失和梯度爆炸，只能保留短期信息。LSTM使用门控机制， 可以选择性地保留长期信息。
>
>  3） 预训练语言模型 ELMo 用预训练的双向LSTM网络根据上下文动态生成 词向量，解决了一词多义问题。双向LSTM网络可以在下游 任务上微调，得到更好的效果。基于Transformer的双向编码 器表征法 （BERT） 也采用了预训练+下游任务微调的 范式。
>
>  4） 大语言模型 预训练语言模型的性能随着规模的增大而提高，成幂律 关系。OpenAI设计了大型语言模型GPT-3 。该模型表 现出强大的能力，性能和规模超越了幂律关系，出现了涌现现象，如上下文学习、思维链推理。

**PLM vs LLM**

在现有文献中，PLM 已经得到了广泛的讨论和调研 ，而很少有研究对 LLM 以系统的方式进行回顾。为了激发我们的调研，我们首先强调 LLM 和 PLM 之间的三个主要区别。

- LLM 表现出一些令人惊讶的涌现能力，这些能力可能在以前较小的 PLM 中没有观察到。这些能力是语言模型在复杂任务上表现的关键，使得人工智能算法具有前所未有的强大和有效性。

- LLM 将彻底改变人类开发和使用人工智能算法的方式。与小型 PLM 不同，访问 LLM 的主要方法是通过提示接口（例如 GPT-4 API）。人们必须了解 LLM的工作原理，并以 LLM 能够遵循的方式形式化他们的任务。

- LLM 的发展不再明确区分研究和工程。训练 LLM 需要在大规模数据处理和分布式并行训练方面具有丰富的实践经验。为了开发出有能力的 LLM，研究人员必须解决复杂的工程问题，与工程师合作或成为工程师。

如今，LLM 对  AI 社区产生了重大影响，ChatGPT 和 GPT-4 的出现促使人们重新思考通用人工智能（AGI）的可能性。OpenAI 已经发布了一篇名为 “*Planning for AGI and beyond*” 的技术文章，讨论了实现 AGI 的短期和长期计划，而一篇更近期的论文认为 GPT-4 可能被视为 AGI 系统的早期版本。

AI 研究领域正因 LLM 的迅速发展而发生革命性变革。在自然语言处理领域，LLM 可以在一定程度上作为通用语言任务解决器，其研究范式已经转向使用 LLM。在信息检索领域，传统搜索引擎正受到通过 AI 聊天机器人（即 ChatGPT）搜索新信息的挑战，而 *New* *Bing*展示了一个初步的基于 LLM 增强搜索结果的研究尝试。在计算机视觉领域，研究人员试图开发类似 ChatGPT 的视觉-语言模型，以更好地为多模态对话提供服务，GPT-4 已经通过整合视觉信息支持多模态输入。这一新技术浪潮可能会带来一个基于 LLM 的繁荣实际应用生态系统。例如，Microsoft 365 正在被 LLM（如 Copilot）赋能以自动化办公工作，而 OpenAI 支持在 ChatGPT 中使用插件来实现特殊功能。

尽管取得了进步和影响，但 LLM 的基本原理尚未得到充分探索。

- 首先，为什么涌现能力会出现在 LLM 中，而不是较小的 PLM 中，这仍然是个谜。作为一个更普遍的问题，缺乏对 LLM 优越能力的关键因素进行深入、详细调查的研究。研究 LLM 何时以及如何获得这些能力非常重要 。尽管对这个问题已有一些有意义的讨论，但仍需要更多原则性的研究来揭示 LLM 的“秘密”。

- 其次，研究界很难训练出有能力的 LLM。由于计算资源的巨大需求，为了研究各种策略对训练 LLM 的效果，进行重复、消融研究的成本非常高。实际上，LLM 主要由工业界训练，许多重要的训练细节（如数据收集和清理）并未向公众透露。

- 第三，将 LLM 与人类价值观或偏好对齐是具有挑战性的。尽管有能力，LLM 也可能产生有毒的、虚构的或有害的内容。消除使用 LLM 的潜在风险需要有效 高效的控制方法。

```
1.请注意，LLM 并不一定比小型 PLM 更有能力，而涌现能力在某些 LLM 中可能不会出现。
2.https://openai.com/blog/chatgpt/
3.https://www.bing.com/new
4.在现有的文献中，关于 LLM 的最小参数规模并没有形成正式共识，因为模型容量也与数据大小和总计算量有关。在本文献中，我们采用了一个略微宽松的 LLM 定义，并主要关注模型大小大于 10B 的语言模型。
```

面对机遇和挑战，我们需要更多关注 LLM 的研究和发展。本文从四个主要方面对 LLM 的最近进展进行描述，包括：

- **预训练**，如何预训练出一个有能力的 LLM

- **适应微调**，如何从有效性和安全性两个角度有效地微调预训练的 LLM

- **使用**，如何利用 LLM解决各种下游任务

- **能力评估**，如何评估 LLM 的能力和现有的经验性发现

### 大语言模型算法演进路线

2017 年，Google 提出 Transformer ，创造性地将注意力 机制作为核心算子来构建语言模型，解决了长短期记忆网络（LSTM）等循环神经网络计算效率低、训练容易过拟合的 问题。此后，OpenAI 和 Google 在 Transformer 基础上，又分别提出了GPT 和BERT 。GPT采用了Transformer的解码器 部分，使用从前到后的单向预测模式（类似于补全）。BERT 则采用了Transformer的编码器部分，使用上文与下文的双向 预测模式 （类似于填空）。受益于该模式，BERT 实现了较 强的性能，让业界一度认为双向语言模型是更优的选择。 但是，OpenAI笃定追逐“通用语言模型”，认为从前到 后的生成能力可以转化应用于各类语言任务上，因此在后续 模型中依然坚持单向预测模式。直到2020年，OpenAI提出 了拥有1 750亿参数的GTP-3 模型。GTP-3在对话、知识问 答、吟诗作赋等多项任务中展示出的能力均令人印象深刻。 此后，OpenAI不再公开模型相关的技术细节，研究人 员开始把目光聚焦在其他开源模型上。2023 年 Meta 发布 LLaMA系列模型 ，进一步优化了Transfomer 模型架构，并 使用更加充分的数据对模型进行训练，获得了不错的性能。 此后，许多研究人员相继基于LLaMA模型不断地做局部的 优化，如Baichuan、Yi、Mistral、Qwen等。

相较于之前LSTM等循环神经网络，Transformer最大的 弱点是计算效率低，主要原因是其自注意力机制的计算复杂 度与序列长度的平方成正比关系。

针对该问题，

**一条技术路线是放弃Transformer**，设计更高效的模型结构。目前我们认为有可能取 代 Transformer 的 架 构 主 要 包 括 Linear Trans‐ former、RWKV和Mamba等。Memba采用了完全不同的模型 架构 ，彻底抛弃了注意力机制，从状态空间的角度对序列 进行建模。相关研究表明，该模型把训练计算复杂度降到线 性，且能力与Transformer相当。A21 Labs刚刚发布了首个生 产级别的基于Mamba的模型Jamba，模型参数达到了520亿， 同时提供长达256 k的上下文。尽管当前Memba在参数规模 上与Transformer仍然有较大差距，但前景仍被看好。业界认 为Memba是取代Transformer的有力竞争者。

**另一条技术路线是继续优化 Transformer 模型结构**。例如，在注意力机制方面，代表性的工作包括将多头注意力机 制 （MHA） 改进为多查询注意力机制 （MQA） 和分组查询 注意力机制 （GQA），这可以进一步降低计算量。其中， LLaMA 采用了分组查询注意力机制 ，Google 也发布的 Gemini采用了多查询注意力机制。 除了结构上的改进，优化算子实现也可以提高效率，例 如：FlashAttention 通过 Attention 与 Softmax 计算融合，结合 KV Cahche，能显著提高计算速度并降低显存带宽依赖 ，从而使Transformer的计算效率接近线性注意力模型。

### 大语言模型的涌现能力

LLM 的“**涌现能力**”被正式定义为“在小模型中不存在但在大模型中出现的能力”，这是区分 LLM 与以前的 PLM 最突出的特征之一。它进一步介绍了一个显著的特征，即当规模达到一定水平时，性能显 著提高超过随机水平。类比地，这种涌现模式与物理学中的 “相变”现象有着密切的联系。原则上，涌现能力可以定义为与某些复杂任务相关的能力，而我们更关注能够应用于解决各种任务的通用能力。这里，我们简要介绍三个代表性的 LLM 涌现能力。

- **上下文学习**：上下文学习能力由 GPT-3 正式引入：假设提供给语言模型自然语言指令和/或多个任务演示，它可以通过完成输入文本的单词序列来为测试实例生成期望的输出，而无需额外的训练或梯度更新。
- **指令遵循**：通过使用自然语言描述的多任务数据集进行微调（称为指令微调），LLM 可以在同样使用指令形式化描述的未见任务上表现良好 。通过指令微调，LLM 能够在没有使用显式示例的情况下遵循任务指令，从而具有更好的泛化能力。
- **逐步推理**：对于小语言模型来说，通常难以解决涉及多个推理步骤的复杂任务，例如数学问题。然而，通过采用“思维链”推理策略 ，LLM 可以利用包含中间推理步骤的提示机制来解决这些任务，得出最终答案。这种能力被认为可能通过在代码上进行训练来获得。

### 关键技术

经过漫长的发展，LLM 进化到了当前的状态——通用 有能力的学习者。在这个过程中，人们提出了许多重要的技术，大大提升了 LLM 的能力。在此，我们简要列举了几种重要的技术，这些技术（可能）是导致 LLM 成功的关键。

**扩展**：扩展是提升 LLM 模型能力的关键因素。作为最初的尝试，GPT-3 首先将模型大小增加到了一个极大的规模，达到了 1750 亿参数。之后，PaLM 进一步将参数规模提升到了新纪录的 5400 亿。正如之前所讨论的，大的模型尺寸是涌现能力的关键。然而，扩展不仅与模型大小有关，还与数据大小和总运算量有关。最近的一项研究 *Training compute-optimal large language models* 讨论了在给定固定预算的情况下，模型大小、数据大小和总计算量三个方面之间的最佳调配。此外，预训练数据的质量在实现良好性能方面起着关键作用，因此在扩展预训练语料库时，数据收集和清洗策略非常重要。

**训练**：由于巨大的模型规模，成功训练一种能力强的 LLM 是非常具有挑战性的。分布式训练算法是学习 LLM 网络参数所必需的，其中通常联合使用各种并行策略。为了支持分布式训练，已经发布了几个优化框架来促进并行算法的实现和部署，例如 DeepSpeed 和 Megatron-LM 。此外，优化技巧对于训练稳定性和模型性能也很重要，例如重新开始以克服训练损失激增和混合精度训练。GPT-4 提出开发特殊的基础设施和优化方法，可靠地预测远小于大模型的小模型的性能。

**能力引导**：在大规模语料库上预训练之后，LLM 具备了作为通用任务求解器的潜在能力。然而，当 LLM 执行一些特定任务时，这些能力可能不会显式地展示出来。作为技术手段，设计合适的任务指令或具体的上下文学习策略可以激发这些能力。例如，通过包含中间推理步骤的思维链提示已被证明对解决复杂的推理任务有用。此外，我们还可以使用自然语言表达的任务描述对 LLM 进行指令微调，以提高 LLM在未见任务上的泛化能力。然而，这些技术主要对应于 LLM的涌现能力，可能对小语言模型的效果不同。

**对齐微调**：由于 LLM 被训练来捕捉预训练语料库的数据特征（包括高质量和低质量的数据），它们可能会为人类生成有毒、偏见甚至有害的内容。因此，有必要使 LLM 与人类价值观保持一致，例如有用性、诚实性和无害性。为此， InstructGPT 设计了一种有效的微调方法，使 LLM 能够按照期望的指令进行操作，其中利用了使用人类反馈的强化学习技术。它将人类纳入训练循环中，采用精心设计的标注策略。ChatGPT 实际上采用类似于InstructGPT 的技术，在产生高质量、无害的回答（例如拒绝回答侮辱性问题）方面表现出很强的对齐能力。

**工具操作**：从本质上讲，LLM 是基于海量纯文本语料库进行文本生成训练的，因此在那些不适合以文本形式表达的任务上表现不佳（例如数字计算）。此外，它们的能力也受限于预训练数据，例如无法获取最新信息。为了解决这些问题，最近提出了一种技术，即利用外部工具来弥补 LLM 的不足。例如，LLM 可以利用计算器进行准确计算，利用搜索引擎检索未知信息。最近，ChatGPT 已经实现了使用外部插件（现有或新创建的应用程序）的机制，这类似于 LLM 的“眼睛和耳朵”。这种机制可以广泛扩展 LLM 的能力范围。

此外，许多其他因素（例如硬件升级）也对 LLM 的成功做出了贡献。但是，我们主要讨论在开发 LLM 方面的主要技术方法和关键发现。

## 大语言模型丰富的资源

考虑到技术问题的挑战和计算资源的巨大需求，开发或再现大语言模型绝非易事。一种可行的方法是在现有的大语言模型的基础上进行开发，即重复使用公开可用的资源进行增量开发或实验研究。在本节中，我们简要整理了用于开发大语言模型的公开可用的资源，包括公开的模型检查点（或 API）、语料库和算法库。

### 公开可用的模型检查点或API

考虑到模型预训练的巨大成本，训练良好的模型检查点对于研究组织开展大语言模型的研究和开发至关重要。由于参数规模是使用大语言模型时需要考虑的关键因素，为了帮助用户根据其资源预算确定适当的研究内容，我们将这些公开模型分为两个规模级别（百亿参数量级别和千亿参数量级别）。此外，也可以直接使用公开的 API 执行推理任务，而无需在本地运行模型。接下来，我们对公开可用的模型检查点和 API进行介绍。

**百亿参数量级别的模型：**这类模型的参数规模除了  LLaMA（最大版本 65B 参数）和 NLLB（最大版本 54.5B 参数），大多在 10B 至 20B 之间。这一参数范围内的模型包括 mT5、 PanGu-*α* 、T0 、GPT-NeoX-20B 、CodeGen 、 UL2、Flan-T5 和 mT0  等。其中，Flan-T5（11B版本）可以作为研究指令微调的首选模型，因为它从三个方面探索了指令微调：增加任务数量、扩大模型规模和使用思维链提示数据进行微调。CodeGen（11B）是一个为生成代码设计的自回归语言模型，可用作探索代码生成能力的候选模型，其提出了一个新的基准测试 MTPB ，专门用于多轮程序合成，由 115 个专家生成的问题组成，为了解决这些问题，需要大语言模型获得足够的编程知识（例如数学、数组操作和算法）。对于多语言任务，mT0（13B）可能是一个比较好的候选模型，因为它在多语言任务中使用多语言提示进行微调。此外，对于中文的下游任务，PanGu-*α*  具有较好的表现，特别是在零样本或小样本的设置下，该模型基于深度学习框架 MindSpore开发，拥有多个参数版本（最大版本 200B 参数），而最大的公开版本只有 13B 参数。此外，作为最近发布的模型，LLaMA（65B）  在与指令遵循相关的任务中展现了卓越的性能。由于其开放性和有效性，LLaMA引起了研究界的广泛关注，许多工作 致力于微调或继续训练其不同的模型版本以实现新模型或工具的开发。百亿参数量级别的模型通常需要数百甚至上千个 GPU 或 TPU。例如，GPT-NeoX-20B 使用了 12 个微服务器，每个服务器配备了 8 个 NVIDIA A100-SXM4-40GB GPU，LLaMA 使用了 2048 个 A100-80G GPU。为了准确估计所需的计算资源，我们还是建议使用衡量涉及计算量的指标，例如计算 FLOPS（每秒浮点数运算次数）。

**千亿参数量级别的模型：**在这类模型中，只有少数几个模型进行了公开发布。其中，OPT 、OPT-IML 、BLOOM 和 BLOOMZ的参数量几乎与 GPT-3（175B）大致相同，而  GLM  和  Galactica  的参数数量分别为  130B 和 120B。其中，OPT（175B）专注于复现和开源，旨在使研究人员能够进行大规模可重复研究。对于跨语言泛化研究，可以将 BLOOM（176B）和 BLOOMZ（176B）用作基础模型，因为其在多语言语言建模任务中具有较好的能力。在这些模型中， OPT-IML 进行了指令微调，是研究指令微调效果的较好选择。千亿参数量级别的模型通常需要数千个 GPU 或 TPU 进行训练。例如，OPT（175B）使用了 992 个A100-80GB GPU， GLM（130B）使用了 96 个NVIDIA DGX-A100（8x40G）GPU节点集群。

**大语言模型的公共** **API**：相较于直接使用模型副本，API提供了一种更方便的方式供普通用户使用大语言模型，使得用户无需在本地运行模型。作为使用大语言模型的代表性接口，GPT 系列模型的 API 已经广泛应用于学术界和工业界。OpenAI 提供了七个主要的 GPT-3 系列模型接口：ada、babbage、curie、davinci（GPT-3 系列中最强大的版本）、text-ada-001、text-babbage-001 和 text-curie-001。其中前四个接口可以在 OpenAI 的主机服务器上进一步进行微调。babbage、curie 和 davinci 分别对应于 GPT-3 (1B)、GPT-3 (6.7B) 和 GPT-3 (175B) 模型 。此外，还有两个与  Codex 有关的  API，分别称为 code-cushman-001（Codex (12B) 的强大多语言版本 ）和  code-davinci-002。GPT-3.5  系列包括一个基础模型 code-davinci-002 和三个增强版本，即  text-davinci-002、 text-davinci-003 和  gpt-3.5-turbo-0301。值得注意的是，gpt-3.5-turbo-0301 是调用  ChatGPT 的接口。 OpenAI  还发布了与  GPT-4  相应的  API， 包括  gpt-4、 gpt-4-0314、gpt-4-32k 和  gpt-4-32k-0314。总体而言，API接口的选择取决于具体的应用场景和响应需求。

**近年来大型语言模型（指规模大于 10B 的模型）的统计数据，包括 Evaluation、Pre-train Data Scale（以 token 数量或存储大小表示）和 Hardware。在本表中，我们仅列举有公开论文介绍技术细节的大语言模型。这里，“Release Time”表示相应论文正式发布的日期。“Publicly Available”表示模型检查点可以公开获取，而“Closed Source”则相反。“Adaptation”指模型是否经过了后续微调：IT 表示指令微调，RLHF 表示人类反馈的强化学习。“Evaluation”表示模型是否在原始论文中评估了相应的能力：ICL 表示上下文学习，CoT 表示思维链。“*”表示最大的公开可用版本。**

### 常用语料库

与早期的小型预训练语言模型不同，大语言模型有着规模极大的参数量，需要更大量内容广泛的训练数据。为满足这种需求，越来越多的可用于研究的训练数据集被发布到公共社区中。简要总结了一些常用于训练大语言模型的语料库。基于它们的内容类型，我们将这些语料库分为六个组别进行介绍Books、CommonCrawl、Reddit Links、 Wikipedia、Code、Others。

| #                | #                                                            |
| ---------------- | ------------------------------------------------------------ |
| **Books**        | BookCorpus是之前小规模模型（如 GPT和 GPT-2）中常用的数据集，包括超过 11，000 本电子书，涵盖广泛的主题和类型（如小说和传记）。另一个大规模的书籍语料库是 Gutenberg，它有超过 70，000 本文学作品，包括小说、散文、诗歌、戏剧、历史、科学、哲学和其他公共领域的作品。它是目前最大的开源书籍集合之一，被用于训练 MT-NLG和 LLaMA 。至于在 GPT-3 中使用的 Books1 和 Books2，它们比 BookCorpus 要大得多，但目前尚未公开发布。 |
| **CommonCrawl**  | CommonCrawl 是最大的开源网络爬虫数据库之一，容量达到了百万亿字节级别，已经被广泛运用于训练大预言模型。由于整个数据集非常大，因此现有的研究主要在特定时间段内从中提取网页子集。然而，由于网络数据中存在大量的噪音和低质量信息，因此使用前需要进行数据预处理。目前有四个较为常用的基于 CommonCrawl的过滤数据集 |
| **Reddit Links** | Reddit 是一个社交媒体平台，用户可以在上面提交链接和帖子，其他人可以通过“赞同”或“反对”投票。高赞的帖子通常被认为对多数用户是有帮助的，可以用来创建高质量的数据集。WebText 就是一个著名的基于 Reddit 的语料库，它由 Reddit 上高赞的链接组成，但尚未公开。作为替代，有一个易于获取的开源替代品叫做 OpenWebText。另一个从 Reddit 中提取的语料库是 PushShift.io ，它是一个实时更新的数据集，包括自 Reddit 创建以来的历史数据。 Pushshift 不仅提供每月的数据转储，还提供有用的实用工具，支持用户搜索、总结和对整个数据集进行初步统计分析。这使得用户可以轻松地收集和处理 Reddit 数据。 |
| **Wikipedia**    | Wikipedia是一个在线百科全书，包含大量高质量的文章，涵盖各种主题。其中大部分文章都采用解释性写作风格（并支持引用），覆盖了多种不同语言和广泛的知识领域。通常来说，Wikipedia 英语版本被广泛应用于大多数大语言模型 (例如 GPT-3 ，LaMDA 和 LLaMA )。它还提供多种语言版本，因此可以在多语言环境下使用。 |
| **Code**         | 为了收集代码数据，现有工作主要是从互联网上爬取有开源许可证的代码。代码数据有两个主要来源 |
| **Others**       | The Pile 是一个大规模、多样化、开源的文本数据集，有超过 800GB 数据，内容包括书籍、网站、代码、科学论文和社交媒体平台等。它由 22 个多样化的高质量子集构成。The Pile 数据集被广泛应用于不同参数规模的模型，如 GPT-J（6B）、CodeGen（16B） 和Megatron-Turing NLG（530B）。此外，ROOTS 由各种较小的数据集（总共 1.61 TB 的文本）组成，覆盖 59 种不同的语言（包括自然语言和编程语言），它被用于训练 BLOOM。 |

实际上，为了预训练大语言模型，通常需要混合使用不同的数据源，而不是单一的语料库。因此，现有的研究通常混合几个现成的数据集（如 C4、OpenWebText 和 the Pile 等），然后进行进一步的处理以获取预训练语料库。此外，为了训练适用于特定应用的大语言模型，从相关源（如 Wikipedia 和 BigQuery）提取数据以丰富预训练数据中的相应信息也很重要。

为了快速了解现有大语言模型使用的数据来源，我们介绍三个代表性大语言模型的预训练语料库：

-  *GPT-3*（175B） 是在混合数据集（共 300B 词）上进行训练的，包括 CommonCrawl 、WebText2 、 Books1 、Books2  和 Wikipedia。
-  *PaLM*（540B）  使用了一个由社交媒体对话、过滤后的网页、书籍、Github、多语言维基百科和新闻组成的预训练数据集，共包含 780B 词。
-  *LLaMA*  从多个数据源中提取训练数据， 包括 CommonCrawl、C4、Github、Wikipedia、书籍、ArXiv和 StackExchange。LLaMA（6B）和 LLaMA（13B）的训练数据大小为 1.0T 词，而 LLaMA（32B）和 LLaMA（65B）使用了 1.4T 词。

### 算法库资源

在这部分，我们简要介绍了一些可用于开发大语言模型的算法库。

- **Transformers**  是一个使用 Transformer 架构构建模型的开源 Python 库，由 Hugging Face 开发和维护。它具有简单和用户友好的 API，使得使用和定制各种预训练模型变得容易。它是一个功能强大的库，拥有庞大而活跃的用户和开发者社区，他们定期更新和改进模型和算法。
- **DeepSpeed**  是由 Microsoft 开发的深度学习优化库（与 PyTorch 兼容），已用于训练多个大语言模型，例如 MT-NLG 和 BLOOM 。它提供了各种分布式训练优化技术的支持，例如内存优化（ZeRO 技术、梯度检查点）和管道并行。
-  **Megatron-LM**  是由NVIDIA 开发的深度学习库，用于训练大语言模型。它提供了丰富的分布式训练优化技术，包括模型和数据并行、混合精度训练和 FlashAttention。这些优化技术可以大大提高训练效率和速度，并实现 GPU 间的高效分布式训练。
-  **JAX**  是由 Google 开发的用于高性能机器学习算法的 Python 库，允许用户在带有硬件加速（例如 GPU 或 TPU）的情况下进行数组的高效运算。它可以在各种设备上进行高效计算，还支持自动微分和即时编译等特色功能。
-  **Colossal-AI**  是由 HPC-AI Tech 开发的用于训练大规模人工智能模型的深度学习库。它基于 PyTorch实现，并支持丰富的并行训练策略。此外，它还可以使用 PatrickStar 提出的方法优化异构内存管理。最近，使用 Colossal-AI 基于 LLaMA  开发的类 ChatGPT 模型 ColossalChat （7B 和 13B 版本）已经公开发布。
-  **BMTrain**  是由 OpenBMB 开发的用于以分布式方式训练大规模参数模型的高效库，强调代码简洁、低资源占用和高可用性。BMTrain 已经将一些常见的大语言模型（如 Flan-T5 和 GLM ）迁移到到其 ModelCenter 中，用户可以直接使用这些模型。
-  **FastMoE**  是一种专门用于 MoE（即混合专家）模型的训练库。它基于 PyTorch 开发，注重效率和用户友好性。FastMoE 简化了将 Transformer 模型转换为 MoE 模型的过程，并支持数据并行和模型并行训练。
- 除了上述的库资源外，其他深度学习框架（例如 Py- Torch ，TensorFlow ，MXNet ，PaddlePad- dle ，MindSpore  和 OneFlow ）也提供了并行算法支持，这些算法通常用于训练大规模模型。

## 大模型训练

GPT开创了生成式预训练方法之后，两阶段训练（任务 无关的预训练阶段和任务相关的精调训练阶段）大模型成为 主流。预训练阶段的目的是为模型注入大量通识知识，精调 训练阶段的目的是提升模型完成特定任务的能力。在这种方 式下，仅需少量精调数据即可以让预训练模型具备完成新任 务的能力，相比于之前为每个任务端到端完整训练模型，极 大节省了训练数据和算力。 随着开源预训练大模型的出现以及应用场景日益复杂， 上述两阶段训练方法已不再满足需求，因此出现了更多的训 练阶段，如图2所示。由于开源预训练大模型通常使用公开 可获得数据训练，专业领域知识不足，使用私域数据对模型 再次进行增量预训练可以有效灌注专业知识。大模型在使用 过程中需要避免生成各类有害信息，因此在模型完成任务相 关的精调训练之后，增加了对齐训练阶段，这样可以使模型 输出更加符合人类的价值观。 训练高性能的商用大模型，涉及数据处理、预训练、精 调训练、安全等关键技术。

**大模型多阶段训练过程**

### 预训练

预训练是大语言模获取能力的基础。通过在大规模语料库上进行预训练，大语言模型可以获得基本的语言理解和生成能力 。在这个过程中，预训练语料库的规模和质量对于大语言模型获得强大的能力至关重要。此外，为了有效地预训练大语言模型，也需要设计好模型架构、加速方法和优化技术。

#### 数据收集

相比小规模语言模型，大语言模型更需要高质量数据来预训练模型，并且模型容量很大程度上依赖于预训练语料库及其预处理方式。

数据多样性对于模型能力的全面性来说至关重要，模型 学习不同的能力，就需要对应的训练数据。例如 GPT-3 训练数据的构成既包含 Common Crawl 这类种类丰富、总量庞 大的互联网数据，又包含维基百科、书籍这类的高质量 数据。 数据质量是模型能力的决定性因素之一。如今，越来越多的研究人员倾向于使用更少的高质量数据而非海量的低质量数据来训练模型。少而精的高质量数据在大幅降低训练成 本的同时，还有可能获得更高的模型性能。

**数据来源**

为了开发一个能力强大的大语言模型，收集大量各种来源的自然语言语料库至关重要。现有的大语言模型主要混合各种公共文本数据集作为预训练语料库。
预训练语料库的来源可以广义地分为两种类型：通用文本数据和专用文本数据。通用数据，如网页、书籍和对话文本等，由于其规模大、多样性强、易于获取的特点，被大多数大语言模型所利用 ，这可以增强大语言模型的语言建模和泛化能力。鉴于大语言模型所展现出的惊人泛化能力，也有研究将预训练语料库扩展到更专用的数据集，如多语言数据、科学数据和代码等，来赋予大语言模型解决专用任务的能力 。

***通用文本数据***

绝大多数的大语言模型采用了通用的预训练数据，比如网页、书籍和对话文本等，这些数据源提供了丰富的文本资源，涉及了多种主题。简要总结三种重要的通用数据。

- **网页**：随着互联网的普及，多种多样的数据被创造出来，这些丰富的数据使得大语言模型能够获得多样化的语言知识并增强大语言模型的泛化能力 。为了方便使用这些数据资源，之前的工作从网络中爬取了大量的数据，如 CommonCrawl 。然而，这些爬取的网络数据往往同时包含高质量的文本，如维基百科，和低质量的文本，如垃圾邮件，因此过滤和处理网页以提高数据质量非常重要。
- **对话文本**：对话数据可以增强大语言模型的对话能力 ，可能也提高了大语言模型在问答任务上的表现 。研究人员可以利用公共对话语料库的子集（如  PushShift.io Reddit 语料库），或从在线社交媒体收集对话数据。由于在线对话数据通常涉及多个参与者之间的讨论，因此一种有效的处理方式是将对话转换成树形结构，其中每句话与回应它的话语相连。通过这种方式，多方之间的的对话树可以被划分为预训练语料库中的多个子对话。然而，过度引入对话数据来训练大语言模型可能会导致一个潜在的风险 ：声明性指令和直白的疑问会被错误地认为是对话的开始，从而导致指令的有效性下降。
- **书籍**：与其他语料库相比，书籍提供了更正式的长文本，这对于大语言模型学习语言知识、建模长期依赖关系和生成连贯的文本可能带来了好处。为了获得开源书籍数据，现有的研究通常采用 Books3 和 Bookcorpus2 数据集，这些数据集可以在 Pile 数据集中获得 。

***专用文本数据***

专用数据集对于提高大语言模型在特定下游任务中的能力非常有用。接下来，我们介绍三种专用数据类型。

- **多语言文本**：除了在单目标语言上进行训练外，整合多语言语料库可以增强多语言的理解和生成能力。例如， BLOOM  和 PaLM  在其预训练语料库中收集了包含46 种和 122 种语言的多语言数据。这些模型在多语言任务中展现出了出色的性能，例如翻译、多语言摘要和多语言问答，并  相比于在目标语言上微调的最先进的模型具有可比或更好的性能。
- **科学文本**：科学出版物的不断增长见证了人类对科学的探索。为了增强大语言模型对科学知识的理解 ，可以
  将科学语料库纳入模型的预训练语料 。通过在大量科学文本上进行预训练，大语言模型可以在科学和推理任务中取得出色的性能 。为了构建科学语料库，现有的工作主要收集 arXiv 论文、科学教材、数学网页和其他相关的科学资源。由于科学领域数据的复杂性，例如数学符号和蛋白质序列，通常需要特定的标记化和预处理技术将这些不同格式的数据转换为可以被语言模型处理的统一形式。

- **代码**：程序编写在学术界得到了广泛的研究 ，特别是使用训练于代码的预训练语言模型 。然而，对于这些预训练语言模型（如 GPT-J ），生成高质量和准确的程序仍然具有挑战性。最近的研究  发现，在大量的代码语料库上预训练打语言模型可以显著提高编写程序的质量。编写的程序可以成功通过专家设计的单元测试用例  或解决竞赛编程问题 。一般来说，常用于预训练大语言模型的代码语料库有两种来源。第一种来源是来自编程问答社区（如 Stack Exchange） 。第二种来源是来自公共软件仓库，例如 GitHub ，它们收集了代码数据（包括注释和文档字符串）以供利用。与自然语言文本相比，代码以编程语言的格式呈现，对应着长距离依赖和准确的执行逻辑 。最近的一项研究  还推测，训练代码可能是复杂推理能力（如思维链能力 ）的来源。此外，将推理任务格式化为代码也可以帮助大语言模型生成更准确的结果 。

**数据预处理**

在收集大量文本数据后，对数据进行预处理，特别是消除噪声、冗余、无关和潜在有害的数据 ，对于构建预训练语料库是必不可少的，因为这些数据可能会极大地影响大语言模型的能力和性能。在这部分中，我们将细致地回顾提高收集数据的质量的数据预处理策略 。

***一个典型的预处理预训练数据的流程图***

***质量过滤***

为删除收集到的语料库中的低质量数据，现有的工作通常采用两种方法：基于分类器的方法和基于启发式的方法。

- 基于分类器的方法，基于高质量文本训练选择分类器，并利用它来识别和过滤低质量数据。通常，这些方法使用高质量数据（如维基百科页面）作为正样本，采样候选数据作为负样本来训练二元分类器，并预测衡量每个数据示例质量的分数。然而，一些研究也发现，基于分类器的方法可能会删除方言、口语和社会语言的高质量文本，从而可能导致有偏的预训练语料库，并减少语料库的多样性。
- 基于启发式的方法，一些研究，如BLOOM和Gopher，采用基于启发式的方法，通过设计一组精心设计的规则来消除低质量文本，这些规则可以总结如下：
  - 基于语言的过滤：如果大语言模型主要用于某项语言的任务中，那么其他语言的文本可以被过滤掉。
  - 基于度量的过滤：可以利用生成文本的评估度量，例如困惑度（perplexity），来检测和删除不自然的句子。
  - 基于统计的过滤：可以利用语料库的统计特征，例如标点符号分布、符号与单词比率和句子长度，来衡量文本质量并过滤低质量数据。
  - 基于关键词的过滤：基于特定的关键词集合，可以识别和删除文本中的噪声或无用元素，例如HTML标签、超链接、模板和攻击性词语。

***去重***

现有的研究发现，语料库中的重复数据会降低语言模型的多样性，可能导致训练过程不稳定，从而影响模型性能。因此，需要对预训练语料库进行去重处理。具体来说，可以在句子级、文档级和数据集级等不同粒度上去重。首先，在句子级别上，应删除包含重复单词和短语的低质量句子，因为它们可能会在语言建模中引入重复模式。在文档级别上，现有研究主要依靠文档之间的表层特征（例如单词和n-gram的重叠）重叠比率来检测和删除包含相似内容的重复文档。此外，为了避免数据集污染问题，还必须通过从训练集中删除测试集可能出现的重复文本，来防止训练集和评估集之间的重叠。已经证明，这三个级别的去重都有助于改善大语言模型的训练，在实践中应该共同使用这三个级别的去重。

***隐私去除***

大多数预训练文本数据来自网络来源，包括涉及敏感或个人信息的用户生成内容，这可能增加隐私泄露的风险。因此，需要从预训练语料库中删除可识别个人信息（PII，Personally Identifiable Information）。一种直接有效的方法是采用基于规则的方法，例如关键字识别，来检测和删除PII，例如姓名、地址和电话号码。此外，研究人员还发现，大语言模型在隐私攻击下的脆弱性可能归因于预训练语料库中存在的重复PII数据。因此，去重也可以在一定程度上降低隐私风险。

***分词***

分词也是数据预处理的关键步骤。它的目的是将原始文本分割成词序列，随后用作大语言模型的输入。虽然直接利用已有的分词器是方便的（例如OPT和GPT-3利用GPT-2的分词器），但是使用专门为预训练语料库设计的分词器可能会更加有效，特别是对于由多种领域、语言和格式组成的语料库。因此，最近的几个大语言模型使用SentencePiece为预训练语料库训练定制化的分词器。同时利用字节级BytePairEncoding(BPE)算法确保分词后信息不丢失。然而需要注意的是，BPE中的规范化技术，例如NFKC，可能会降低分词性能。

**预训练数据对大语言模型的影响**

与小规模的预训练语言模型不同，由于对计算资源的巨大需求，通常不可能对大语言模型进行多次预训练迭代。因此，在训练大语言模型之前构建一个准备充分的预训练语料库尤为重要。在这一部分中，我们将讨论预训练语料库的质量和分布会如何潜在地影响大语言模型的性能。

- ***混合来源***：正如前面所讨论的，来自不同领域或场景的预训练数据具有不同的语言特征或语义知识。通过在来自不同来源的文本数据上进行预训练，大语言模型可以获得广泛的知识，并可能展现出强大的泛化能力。当混合不同来源的数据时，需要仔细设置预训练数据的分布，因为这也可能会影响大语言模型在下游任务上的性能。Gopher对数据分布进行了消融实验，以检验混合来源对下游任务的影响。它在LAMBADA数据集上的实验结果表明，增加书籍数据的比例可以提高模型从文本中捕捉长期依赖的能力，增加C4 数据集的比例则会提升它在 C4 验证数据集 上的性能。然而，单独训练过多的某个领域的数据会影响大语言模型在其他领域的泛化能力。因此，建议研究人员应仔细确定预训练语料库中来自不同领域的数据的比例，以开发更符合其特定需求的大语言模型。可以参考图中现有大语言模型预训练数据中各种数据来源的比率，了解和比较不同大语言模型的数据来源。
<img src="assets/10.png" width="80%">

- ***预训练数据的数量：***为了预训练一个有效的大语言模型，收集足够的高质量数据以满足大语言模型的数据数量需求是很重要的。现有研究发现，随着大语言模型参数规模的增加，也需要更多的数据来训练模型：与模型大小相关的数据大小也观察到了类似的扩展定律，与模型性能有关。Chinchilla表明，许多现有的大语言模型由于缺乏充足的预训练数据而受到次优训练的影响。通过进行广泛的实验，它进一步表明，在给定的计算预算下，采用相等规模的模型参数和训练标记是必要的。最近，LLaMA表明，随着更多的数据和更长时间的训练，较小的模型也可以实现良好的性能。因此，建议研究人员在扩展模型参数时，尤其要注意高质量数据的数量，以充分训练模型。
- ***预训练数据的质量：***现有的研究表明，对低质量的语料库进行预训练，如噪声、有毒和重复的数据，可能会损害模型的性能。为了开发表现良好的大语言模型，收集的训练数据的数量和质量都是至关重要的。最近的研究，如 T5 、GLaM  和 Gopher ，已经研究了数据质量对下游任务性能的影响。通过比较在过滤和未过滤的语料库上训练的模型的性能，它们得到了相同的结论，即在清理后的数据上预训练大语言模型可以提高性能。更具体地说，数据的重复可能会导致“双下降现象”（指性能最初恶化，随后得到改善） ，甚至会使训练过程不稳定 。此外，已经表明，重复的数据会降低大语言模型从上下文中复制的能力，这可能进一步影响大语言模型在上下文学习中的泛化能力 。因此，正如  所建议的，研究人员有必要仔细地对预训练语料库进行预处理，以提高训练过程的稳定性并避免影响模型性能。

#### 主流架构

现 有 LLM 的进步主要得益于Transformer的发展。Transformer模型完全摒弃了传统语言模型广泛使用的循环神经网络 （RNN） 和长短期记忆网络 （LSTM） 模型，全面采 用自注意力机制来处理序列。

如图所示，Transformer模型包含编码器和解码器，两者均由N个（原文中N=6）相同的层堆叠而成。**编码器**负责理解输入文本并构造语义表示，而解码器则使用编码器的输 出来生成目标序列。编码器中的每个层由多头自注意力层和 全连接前馈网（FFN）两个子层构成，而**解码器**相比编码器多出一个掩码多头自注意力层。注意力机制的引入使得 Transformer模型在处理序列的每个元素时，能够考虑到整个 序列的上下文信息，从而在NLP任务中表现出并行化训练和 性能优异的特点 。例如，Transformers 架构通过自注意力 机制解决了长距离依赖问题，使模型能够直接关注到序列中 任意两个位置之间的关系。同时，Transformer 架构允许比 RNN更多的并行化，这使得图形处理器（GPU）上的大量数 据上有效地预训练非常大的语言模型成为可能。 **Transformer模型的提出极大地推动了LLM的发展。**

**基于Transformer架构，LLM演化为3种主要架构 ： 仅编码器 （encoder-only）、 仅解码器 （decoder-only）、编码器-解码器 （encoder-decoder）。**

目前， 最主流的是仅解码器架构，代表性的LLM有GPT系列 、 LLaMA 、PaLM 等。

仅编码器架构模型的代表是BERT 系列，包括 BERT 、RoBERTa 和 ALBERT 等；

编码器解码器架构的代表模型有 谷 歌 的 T5 模 型 、Meta AI 的 BART模型 和华为的Pangu大模型等。

**3种架构各有优劣：**

仅解码器架构更多关注于从已有的信息扩展出新的内容，适 合文本生成和扩展类型的任务，但需要大量的训练数据来提 高生成文本的质量和多样性；

仅编码器架构能更好地理解输 入文本的语义和上下文信息，适合理解和分析类型的任务， 缺点是无法直接生成文本输出；

编码器-解码器架构能更好地处理输入序列和输出序列之间的关系，适合需要理解输入 内容并生成相关响应的任务，如机器翻译、生成式问答等， 但模型复杂度较高，训练时间和计算资源消耗较大

**Transformer详细配置**

自 Transformer  推出以来，已经提出了各种改进方法来提高其训练稳定性、性能和计算效率。在这部分中，我们将讨论 Transformer 的四个主要部分，包括标准化、位置编码、激活函数、注意力和偏置的相应配置。

***标准化：***

训练不稳定是预训练大语言模型的一个难题。为了缓解这个问题，层标准化 (Layer Norm， LN)  被广泛应用于 Transformer 架构中。LN 的位置对大语言模型的性能至关重要。虽然最初的 Transformer  使用后置 LN，但大多数大语言模型采用前置 LN 以实现更稳定的训练，尽管会带来一定的性能损失 。基于前置 LN，Sandwich-LN  在残差连接之前添加额外的 LN，以避免数值爆炸。然而，已有研究发现 Sandwich-LN 有时无法稳定大语言模型的训练，可能导致训练崩溃 。最近，一些高级标准化技术被提出以作为 LN 的替代方案。由于 RMS Norm 在训练速度和性能方面的优越性 ，其在 Gopher  和 Chinchilla  中被采用。与 LN 相比，DeepNorm  已经表现出更好的训练稳定性，和后标准化一起被 GLM-130B 采用。此外，在嵌入层后添加额外的 LN 也可以稳定大语言模型的训练。然而，这往往会导致显著的性能下降 ，在一些最近的大语言模型中已经被移除 。

***激活函数：***

为了获得良好的性能，在前馈网络中也需要设置合适的激活函数。在现有的大语言模型中，广泛使用 GeLU激活函数 。此外，在最新的大语言模型 (*e.g.，* PaLM 和 LaMDA) 中，也使用了 GLU 激活函数的变体 ，特别是 SwiGLU 和 GeGLU 变体，在实践中通常可以获得更好的性能 。然而，与 GeLU 相比，它们在前馈网络中需要额外的参数（约 50%） 。

***位置编码：***

由于 Transformer 中的自注意模块是置换等变的，因此需要使用位置编码来注入绝对或相对位置信息以建模序列。在经典的 Transformer  中有两种绝对位置编码的变体，即正弦函数和学习的位置编码，后者通常在大语言模型中使用。与绝对位置编码不同，相对位置编码根据键和查询之间的偏移量生成嵌入 ，因此它可以在训练中看到的长度范围之外的更长序列上表现良好，即外推 。ALiBi （Attention with Linear Biases）使用基于键和查询之间距离的惩罚来偏置注意力分数。实证结果表明，它比其他位置编码具有更好的零样本泛化能力和更强的外推能力 。此外，通过基于绝对位置设置特定的旋转矩阵，RoPE（Rotary Position Embedding，旋转位置嵌入）中的键和查询之间的分数可以使用相对位置信息计算，这对于建模长序列是有用的。因此，RoPE 已经被广泛应用于一些最新的大语言模型 。

***注意力机制和偏差：***

除了原始 Transformer 中的全自注意力机制 ，GPT-3 采用了更低计算复杂度的稀疏注意力机制，即分解注意力 。为了有效高效地建模更长的序列，研究者们探索了引入特殊的注意力模式  或考虑 GPU 内存访问（即 FlashAttention ）。此外，与原始 Transformer 一样，大多数大语言模型在每个线性层和层标准化中保留了偏置。然而，在 PaLM  和 Galactica 中，偏置被移除。研究表明，对于大语言模型来说，去除偏置可以增强训练的稳定性 。

综合上述讨论，我们总结了现有文献中的详细配置建议。为了更强的泛化能力和训练稳定性，建议选择预先的 RMS 标准化进行层标准化，并选择 SwiGLU 或 GeGLU 作为激活函数。此外，在位置编码方面，RoPE 或 ALiBi 是更好的选择，因为它们在长序列上表现更好。

**预训练任务**

预训练在将大规模语料库中的通用知识编码到巨大的模型参数中起着关键作用。对于训练 LLM，有两个常用的预训练任务，即语言建模和去噪自编码。

***语言模型***

语言模型任务（LM）是预训练仅包含解码器的大语言模型（如 GPT3  和 PaLM ）最常用的目标。给定一个标记序列 x = {$x_1$，$x_2$， . . . ， $x_n$}，LM 任务旨在基于序列中前面的标记 $x < i$，自回归地预测目标标记 $x_i$。通常的训练目标是最大化以下似然函数：
$$
\mathcal{L}_{LM}(\mathbf{x}) = \sum_{i=1}^{n} \log P(x_i | x_{<i}).
$$
由于大多数语言任务可以基于输入的预测问题来解决，这些仅包含解码器的大语言模型可能具有优势，可以隐式地学习如何以统一的 LM 方式完成这些任务。一些研究还表明，仅包含解码器的大语言模型可以通过自回归地预测下一个标记而自然地转移到某些任务中，而无需微调 。LM 的一个重要变体是前缀语言模型任务，它是为预训练具有前缀解码器架构的模型设计的。在计算前缀语言模型的损失时，不使用随机选择的前缀内的标记。由于模型预训练涉及的序列
中涉及的标记较少，因此在使用相同数量的预训练标记时，前缀语言模型的性能往往略低于传统语言模型任务 。

***去噪自编码***

除了传统的 LM 之外，去噪自编码任务（DAE）也被广泛用于预训练语言模型 。DAE 任务的输入$\mathbf{x}_{\backslash \tilde{\mathbf{x}}}$是一些有随机替换区间的损坏文本。然后，语言模型被训练以恢复被替换的标记 $\tilde{\mathbf{x}}$。形式上，DAE 的训练目标如下：
$$
\mathcal{L}_{DAE}(\mathbf{x}) = \log P(\tilde{\mathbf{x}} \mid \mathbf{x}_{\backslash \tilde{\mathbf{x}}}).
$$
然而，DAE 任务在实现上似乎比 LM 任务更为复杂。因此，它并没有被广泛用于预训练大型语言模型。采用 DAE作为预训练目标的现有大语言模型包括 T5  和 GLM-130B 。这些模型主要通过自回归地恢复替换区间来进行训练。

当前仍需要更多架构和预训练任务的研究，以分析架构和预训练任务的选择如何影响大语言模型的容量，特别是对于编码器-解码器架构。除了主要架构外，大语言模型的详细配置也值得关注。

**这里列出了几个具有公开配置细节的选定大语言模型的模型。其中，PE 表示位置编码，#L 表示层数，#H 表示注意力头数，*d model* 表示隐藏状态的大小，而 MCL 表示训练期间的最大上下文长度。**

#### **模型训练**

生成式预训练是一种让大模型学习世界知识的有效方法。这种方法的主要优势在于：属于无监督学习方法，无须对数据进行标注就可以得到海量训练数据；只需让模型学习正确预测语料中的词，即可令模型理解语料中所的蕴含知识。 大模型训练算力需求的增长速度远超摩尔定律，因此所需要的并行计算节点数不断增加，算力和显存是大模型训练 的主要瓶颈。

为了打破设备的算力和显存限制，目前有3个最主要的技术方向：

1） 以张量并行 （TP）、流水线并行 （PP），数据并行（DP） 构成的3D并行加速，其主要原理是 根据硬件集群的特征，如节点数、单节点算力、内存大小、 节点间互联带宽及时延等，对计算任务进行不同维度的拆 分，以最优化利用硬件资源；

2）以ZeRO（零冗余）系列为 代表的显存优化技术，其主要原理是尽可能将数据保存到内 存从而减少对显存的需求（以增加带宽需求为代价）；

3）以 Flash Attention 为代表的底层算子优化，其主要原理是将多 个算子计算进行融合从而最大限度降低“内存墙”对计算效 率的影响。

上述算法实现涉及复杂工程优化，因此并行训练框架极 为重要。Megatron-LM[21] 是由英伟达深度学习应用研究团队 开发的大型Transformer语言模型训练框架，其在对TP的支 持方面处业界领先。DeepSpeed 是微软提出的并行训练框 架，其主要优势是支持 ZeRO[22] 和 Checkpoint[23] 显存优化技 术，对训练显存紧张的场景更友好。FairScale是由Facebook 提出的一个用于高性能和大规模训练的PyTorch扩展库，支 持全切片数据并行 （FSDP），这是扩展大模型训练的推荐 方式

***优化设置***

为了进行大语言模型的参数优化，我们介绍了批量训练、学习率、优化器和训练稳定性的常用设置。

- **批量训练：**对于语言模型的预训练，现有的研究通常将批量大小设置为较大的数字（例如 8，196 个样例或 1.6M 个标记），以提高训练的稳定性和吞吐量。对于像 GPT-3 和 PaLM 这样的大语言模型，它们引入了一种新的策略，在训练过程中动态增加批量大小，最终达到百万级别。具体而言，GPT-3的批量大小从 32K 逐渐增加到 3.2M 个标记。实证结果表明，批量大小的动态调整策略可以有效地稳定大语言模型的训练过程 。
- **学习率**：现有的大语言模型通常在预训练过程中采用类似的学习率调整策略，包括 warm-up 和 decay。具体而言，在训练的初始 $0.1%$ 到 $0.5%$ 的步骤中，采用线性 warm-up 策略逐渐增加学习率到最大值，这个最大值通常在 $5 \times 10^{-5}$到$1 \times 10^{-4}$之间（例如 GPT-3 的学习率为$6 \times 10^{-5}$）。然后，在后续步骤中采用余弦衰减策略，逐渐将学习率降低到其最大值的约 10%，直到训练损失的收敛。
- **优化器**： Adam 优化器  和 AdamW 优化器  被广泛应用于训练大语言模型（例如 GPT-3），这些优化器基于第一阶梯度的自适应估计的低阶矩。通常，它的超参数设置如下：$β_1 = 0.9$，$β_2 = 0.95$ 和 $ϵ = 10^{-8}$。同时，Adafactor 优化器  也被用于训练大语言模型（例如 PaLM 和 T5），它是一种 Adam 优化器的变体，专门设计用于在训练过程中保存GPU 内存。Adafactor 优化器的超参数设置如下：$β_1 = 0.9$，$β_2 = 1.0 - k^{-0.8}$，其中$ k $表示训练步骤的数量。
- **稳定训练**：在大语言模型的预训练过程中，常常会遇到训练不稳定的问题，这可能会导致模型崩溃。为了解决这个问题，通常会广泛使用权重衰减和梯度裁剪，其中现有的研究  通常将梯度裁剪的阈值设置为 $1.0$，将权重衰减率设置为 $0.1$。然而，随着大语言模型的扩展，训练损失的峰值也更容易发生，导致训练不稳定。为了缓解这个问题，PaLM  和 OPT  使用了一种简单的策略，即从峰值之前的一个检查点重新开始训练过程，并跳过可能导致问题的数据。此外，GLM  发现嵌入层的异常梯度通常会导致峰值，因此提出缩小嵌入层梯度以缓解这个问题。

***可扩展的训练技术***

随着模型和数据的规模增加，有限的计算资源下高效地训练大语言模型变得具有挑战性。尤其需要解决两个主要的技术问题，即提高训练吞吐量和将更大的模型加载到 GPU 内存中。在本部分中，我们回顾了现有工作中用于解决上述两个挑战的几种广泛使用的方法，即 3D 并行，ZeRO 和混合精度训练 ，并提供了关于如何利用它们进行训练的一般性建议。

***3D并行***

3D 并行实际上是三种常用并行训练技术的组合，即数据并行、流水线并行和张量并行。我们接下来介绍这三种并行训练技术。

- 数据并行：数据并行是提高训练吞吐量的最基本方法之一。它将模型参数和优化器状态复制到多个 GPU 上，然后将整个训练语料库分配到这些 GPU 上。这样，每个 GPU 只需要处理分配给它的数据，并执行前向和反向传播以获取梯度。在不同 GPU 上计算的梯度将进一步聚合以获得整个批次的梯度，以更新所有 GPU 上的模型。这样，由于梯度的计算在不同 GPU 上是独立进行的，数据并行机制具有高度可扩展性，可以通过增加 GPU 数量来提高训练吞吐量。此外，该技术的实现简单，大多数现有的流行深度学习库已经实现了数据并行，例如 TensorFlow 和 PyTorch。
- 流水线并行：流水线并行旨在将大语言模型的不同层分布到多个 GPU 上。特别是在 Transformer 模型的情况下，流水线并行将连续的层加载到同一 GPU 上，以减少在 GPU之间传输计算隐藏状态或梯度的成本。然而，流水线并行的一种朴素实现可能导致 GPU 利用率降低，因为每个 GPU必须等待前一个 GPU 完成计算，从而导致不必要的气泡开销 。为了减少流水线并行中的这些气泡，GPipe  和 PipeDream  提出了填充多个数据批次和异步梯度更新技术，以提高流水线效率。
- 张量并行：张量并行也是一种常用的技术，旨在将大语言模型分解为多 GPU 加载。与流水线并行不同，张量并行专注于分解大语言模型的张量（参数矩阵）。对于大语言模型中的矩阵乘法操作 Y = XA，参数矩阵 A 可以按列分成两个子矩阵 A1 和 A2，可以表示为 Y = 。通过将矩阵 A1 和 A2 放置在不同的 GPU 上，矩阵乘法操作将在两个 GPU 上并行调用，并  可以通过跨 GPU 通信将两个 GPU的输出组合成最终结果。目前，张量并行已经在几个开源库中得到支持，例如 Megatron-LM ，并 可以扩展到更高维度的张量。此外，Colossal-AI 还为更高维度的张量实现了张量并行 ，并提出了序列并行 ，特别是针对序列数据，可以进一步分解 Transformer 模型的注意力操作。

***ZeRO***

ZeRO（Zero Redundancy Optimizer）技术，由 Deep- Speed  库提出，专注于解决数据并行中的内存冗余问题。如前所述，数据并行需要每个 GPU 存储大语言模型的相同副本，包括模型参数、模型梯度和优化器参数。然而，并非所有上述数据都需要在每个 GPU 上保留，这将导致内存冗余问题。为了解决这个问题，ZeRO 技术旨在仅在每个 GPU 上保留部分数据，而当需要时，其余数据可以从其他 GPU 中检索。具体而言，ZeRO 提供了三种解决方案，具体取决于三个数据部分的存储方式，即优化器状态分区、梯度分区和参数分区。实证结果表明，前两种解决方案不会增加通信开销，第三种解决方案会增加约 50% 的通信开销，但可节省与 GPU 数量成比例的内存。PyTorch 实现了与 ZeRO 类似的技术，称为 FSDP 。

***混合精度训练***

在以前的 PLMs（例如 BERT ）中，主要使用 32 位浮点数（FP32）进行预训练。近年来，为了预训练极大的语言模型，一些研究  开始利用 16 位浮点数（FP16），这可以减少内存使用和通信开销。此外，由于流行的 NVIDIA GPU（例如 A100）具有 FP16 计算单元的两倍，FP16 的计算效率可以进一步提高。然而，现有的研究发现，FP16 可能导致计算精度的损失 ，影响最终的模型性能。为了缓解这个问题，一种替代方案称为 *Brain Floating Point (BF16)*已被用于训练，它比 FP16 分配更多的指数位和更少的有效位。对于预训练，BF16 通常比 FP16 在表示准确性方面表现更好 。

**整体训练建议**

在实践中，上述训练技术，特别是三维并行技术，通常会联合使用以提高训练吞吐量和大模型加载。例如，研究人员已经将 8 路数据并行、4 路张量并行和 12 路流水线并行纳入到 BLOOM  的 384 个 A100 GPU 上进行训练。目前，开源库如 DeepSpeed 、Colossal-AI  和Alpa  可以很好地支持这三种并行训练方法。为了减少内存冗余，可以使用 ZeRO、FSDP 和激活计算技术  来训练大语言模型，这些技术已经集成到 DeepSpeed、PyTorch和  Megatron-LM 中。此外，混合精度训练技术，如  BF16，也可以利用来提高训练效率和减少 GPU 内存使用，但需要硬件的必要支持（如 A100 GPU）。由于训练大模型是一个耗时的过程，因此在早期阶段预测模型性能并检测异常问题将非常有用。为此，GPT-4  最近引入了一种基于深度学习堆栈的新机制，称为可预测扩展，可以使用更小的模型对大模型进行性能预测，这对于开发大语言模型可能非常有用。在实践中，人们还可以进一步利用主流深度学习框架的支持训练技术。例如，PyTorch 支持完全分片数据并行训练算法 FSDP ，如果需要，可以将部分训练计算卸载到 CPU 上。

除了上述训练策略，提高使用大语言模型的推理速度也很重要。通常，量化技术被广泛用于在推理阶段减少大语言模型的时间和空间成本。虽然会损失一些模型性能，但量化语言模型具有更小的模型大小和更快的推理速度 。对于模型量化，INT8 量化是一个流行的选择 。此外，一些研究工作尝试开发更激进的 INT4 量化方法 。在这些开源大语言模型中，BLOOM11、GPT-J12和 GLM13已经发布了相应的量化模型副本。

### 大语言模型的适配微调

在预训练后，大语言模型可以获得解决各种任务的通用能力。然而，越来越多的研究表明，大语言模型的能力可以根据特定目标进一步调整。

两种微调预训练后的大语言模型的方法：指令微调和对齐微调。

指令微调旨在增强（或解锁）大语言模型的能力，

对齐微调旨在将大语言模型的行为与人类的价值观或偏好对齐。

#### 指令微调（精调）

大模型在各类任务中具有泛化能力，然而直接应用预训练模型往往并不能满足所有场景的需求，这就引出了一个关键技术——**精调训练，即针对特定任务或应用场景，在预训练模型的部分或全部参数上进行进一步的学习与优化，提升模型在特定任务上的遵循指令能力、问题解决能力、特定表 达方式能力等，从而提高其在该任务上的精度和专业性。**

精调训练主要分为全量精调和低资源精调两大类别。

低资源精调主要指的是 LoRA 、prefix-tuning 以及 Ptuning等方法。这些方法对模型局部进行微调或者冻结一部 分参数进行微调。其中，LoRA方法效果最佳。该方法通过 低秩近似对预训练模型的部分权重矩阵进行更新，在降低存 储成本和计算复杂度的同时，实现模型对目标任务的快速适 应。

全量精调则在训练过程中会对整个模型的参数进行优化 和更新，不仅对计算资源和存储资源要求更高，也更容易出现过拟合、丧失通用性等问题。但全量精调拥有更高的上限，通过适当的训练优化来增强模型的泛化性。全量精调方法能够得到比低资源精调方法更优秀的性能。 由于“对齐税”问题，精调训练在提升特定任务表现的 同时会影响模型在其他任务中的总体表现。因此，使用“少而精”的精调训练数据，运用Dropout等技术可以防止过拟合，对平衡大模型的泛化能力和任务适应性尤为重要。

本质上，指令微调是在自然语言格式的实例集合上微调预训练后的大语言模型的方法 。这种方法与有监督微调 和多任务提示训练密切相关。为了进行指令微调，我们首先需要收集或构造指令格式的实例。然后，我们使用这些格式化的实例以有监督的方式微调大语言模型（例如，使用序列到序列的损失进行训练）。指令微调后，大语言模型展现出泛化到未见过任务的卓越能力 ，即使在多语言场景下也能有不错表现 。

**格式化实例构造**

通常情况下，一个指令格式化的实例包括一个任务描述（称为指令）、一个输入输出对以及少量示例（可选）。作为重要的公共资源，现有的研究已经发布了大量标注为自然语言格式的数据。

- **格式化已有数据集：**在指令微调被提出之前，几项早期的研究通过收集来自不同领域（例如文本摘要、文本分类和翻译）的实例来创建有监督的多任务训练数据集。作为指令微调实例的重要来源，使用自然语言的任务描述格式化这些多任务训练数据集是相当方便的。具体来说，最近的工作使用人类编写的任务描述来增强标记的数据集，这些描述通过解释任务目标来指导 LLM 理解任务。例如，在上图中，针对问答任务中的每个实例都添加了一个任务描述“*Please answer this question:*”。在指令调整之后，LLM可以通过遵循它们的任务描述很好地泛化到其他看不见的任务 。特别的，指令被证明是影响 LLM 任务泛化能力的关键因素 。为了更好地为指令微调生成标注实例，一种名为 PromptSource 的众包平台被提出，可以有效地创建、共享和验证不同数据集的任务描述。此外，一些研究还尝试通过反转现有实例的输入-输出对，并针对指令微调设计专门的任务描述。例如，给定一个问题-答案对，我们可以通过预测以问题和一些任务描述（例如，“请基于以下答案按生成一个问题：”)为条件的答案，来创建一个新实例。此外，一些工作还利用启发式任务模板将大量无标注文本转换为标注实例。

- **格式化人类需求：**尽管大量的训练实例已经通过指令进行了格式化，但它们主要来自于公共 NLP 数据集，任务描述缺乏多样性或与真正的人类需求不匹配 。为了解决这个问题， InstructGPT  建议采用真实用户提交给 OpenAI API 的查询作为任务描述。用户查询以自然语言表示，很适合引出 LLM 遵循指令的能力。此外，为了丰富任务的多样性，还要求人工标注者为真实生活中的任务编写指令，包括开放式生成、开放式问答、头脑风暴和聊天等。然后，他们让另一组标注人员直接按照这些指令作为输出进行回答。最后，将一个指令（即采集的用户查询）和期望的输出（即人工编写的答案）配对作为一个训练实例。值得注意的是，InstructGPT 还将这些以自然语言格式化的真实世界任务用于对齐调整。进一步，GPT-4  还设计了具有潜在高风险的指令，并通过监督微调指导模型拒绝这些指令以确保安全。除了这些之外，为了减轻人工注释的负担，几种半自动化的方法  被提出，通过将现有实例输入到 LLM 中生成多样的任务描述和实例来构建实例。

- **实例构建的关键因素。**

指令实例的质量对模型的性能有重要的影响。在此，我们讨论了一些实例构建中的关键因素。
  
  - 扩展指令：大量研究已经证明扩大任务数量可以极大地提高 LLM 的泛化能力 。随着任务数量的增加，模型性能最初呈现连续增长的趋势，但当达到一定水平时，对模型性能的提升变得微不足道 。一个合理的猜测是，一定数量的代表性任务可以提供相对充足的知识，添加更多的任务可能不会带来额外的收益 。此外，从多个方面增强任务描述的多样性也是有益的，例如长度、结构和创造力 。至于每个任务所需的实例数量，已有研究发现少量实例通常可以使模型的泛化性能达到饱和 。然而，将某些任务的实例数量进一步增加（例如数百个）可能会潜在地导致过拟合问题并影响模型性能 。
  
  
  - 格式设计：指令的格式设计也是影响 LLM 泛化性能的一个重要因素 。通常，我们可以向现有数据集的输入-输出对添加任务描述和可选的示例，其中任务描述是 LLMM 理解任务  的最关键部分。此外，通过使用适当数量的示例作为演示 ，可以导致实质性的改进，这也减轻了模型对指令工程的敏感性 。然而，将其他组件 (*e.g.，* 要避免的事情、原因和建议) 合并到指令中可能会对 LLMs 的性能提升产生很轻微的甚至不利的影响。最近，为了引出 LLM 的逐步推理能力，一些工作  建议包含一些面向推理数据集的思维 (CoT) 示例，例如算术推理。已经有研究表明，同时使用包含 CoT 和非 CoT 样本微调 LLM，可以在各种下游任务中获得良好的性能，包括那些需要多跳推理能力的任务（例如，常识问答和算术推理），以及那些不需要这种推理能力的任务（例如，情感分析和抽取式问答） 。

总的来说，指令的多样性看起来比实例数量更重要，因为表现良好的InstructGPT和Alpaca  使用的指令（或实例）比 Flan 系列 LLM  更少但更加多样化。此外，邀请标注者构建人类需求任务比使用特定于数据集的任务更有用。但是，仍然缺乏如何标注满足人类需求指令的指南，使任务构建多少具有一定的启发性。为了减少人力成本，我们可以重用现有的格式化数据集，或使用现有的 LLM 自动构建指令 。

**指令微调策略**

与预训练不同，指令微调通常更加高效，其只需要使用一定数量的实例进行训练。指令微调可以被视为一个有监督的训练过程，其优化过程与预训练有一些不同，比如训练目标（如序列到序列损失）和优化配置（如更小的批量大小和学习率），这些细节需要在实践中特别注意。除了这些优化配置，指令微调还需要考虑两个重要方面：

- **平衡数据分布：**由于指令微调涉及多种任务的混合，因此在微调过程中平衡不同任务的比例非常重要。一种广泛使用的方法是实例比例混合策略 ，即将所有数据集合并，然后从混合数据集中等比例采样每个实例。此外，根据最近的研究发现 ，提高高质量数据集（例如 FLAN  和 P3 ）的采样比例通常可以带来性能提升。同时，在指令微调期间通常会设置一个最大容量，以限制数据集中可以包含的最大实例数 ，这是为了防止较大的数据集压倒整个分布 。在实践中，根据不同的数据集，最大容量通常设置为几千或几万个实例 。
- **结合指令微调和预训练：**为了使微调过程更加有效和稳定， OPT-IML  在指令微调期间加入了预训练数据，这可以看作是对模型的正则化。此外，一些研究并没有使用单独的两阶段训练过程（预训练然后指令微调），而是尝试使用多任务学习从头开始训练模型，混合使用预训练数据（即纯文本）和指令微调数据（即指令格式数据） 。具体而言， GLM-130B  和 Galactica  将指令格式数据集作为预训练语料库的一小部分来预训练大语言模型，这有可能同时获得预训练和指令微调的优势。

**指令微调的效果**

指令微调对大语言模型的两个主要方面的影响:

- **性能改进：**尽管指令微调仅在有限数量的数据上进行了微调，但已成为改进或发掘大语言模型能力的重要方式 。最近的研究在多个规模（从 77M 到 540B 不等）上对语言模型进行了实验，表明不同规模的模型都可以从指令微调中受益 ，随着参数规模的增加，性能也得到了提升 。此外，经过指令微调的较小模型甚至可以比未经微调的较大模型表现更好 。除了模型规模外，指令微调在不同的模型架构、预训练目标和模型适应方法上都展现出持续的改进效果 。在实践中，指令微调为提升现有语言模型（包括小型预训练语言模型）的能力提供了一种通用的方法 。此外，与预训练相比，指令微调成本较低，因为大语言模型所需的指令数据数量明显较少于预训练数据。

- **任务泛化性：**指令微调鼓励模型理解用于任务完成的自然语言指令。它赋予大语言模型遵循人类指令执行特定任务的能力（通常被视为一种涌现能力），即使在未见过的任务上也能够执行。大量研究已经证实了指令微调在已见和未见任务上实现卓越的性能表现 。此外，指令微调还被证明对缓解大语言模型的一些弱点（如生成重复内容或在不完成特定任务的情况下补充输入）具有帮助 ，从而使大语言模型具有更强的解决现实世界任务的能力。此外，通过使用指令微调训练的大语言模型可以在不同语言之间泛化到相关任务。例如，BLOOMZ-P3  基于 BLOOM  进行微调，使用仅包含英语的 P3 任务集合 。有趣的是，与 BLOOM 相比，BLOOMZ-P3 在多语言句子完成任务中可以实现超过 50% 的性能提升，这表明指令微调可以帮助大语言模型从仅包含英语的数据集中获取一般的任务技能，并将这些技能转移到其他语言 。此外，研究还发现，在多语言任务中，使用仅包含英语的指令可以产生令人满意的结果，从而减少了针对特定语言的指令工程的工作量。

#### 对齐微调

大语言模型的一些不良行为（例如，不真实的回答、谄媚和欺骗）激发了业界对人工智能对齐领域的深入研究。AI 对齐旨在使人工智能系统的行为与人类的意图和价值观相一 致，在通往AGI的道路上，AI对齐无疑是安全打开“潘多拉 魔盒”的密钥。 对齐训练主要应用强化学习算法，其基本方法是首先基 于人类标注数据训练评分模型，然后再基于评分模型运行强 化学习算法，通过引导模型获得更高的评分，使其输出更符合人类标准。OpenAI首先提出的基于人类反馈的强化学习 （RLHF）就是利用人类的反馈来优化模型的输出，使其更符合人类的偏好和价值观。这不仅能够提升语言模型性能，也能提升安全性和有用性。相比于RLHF涉及多个模型和不同 训练阶段的复杂过程，拒绝采样 （RS）[25] 则更为简洁有效。 RS 是指让一个模型针对同一个 prompt 生成 K 个不同答案， 然后利用奖励模型为这K个答案打分，选出最优的答案后， 再用最优问答样本对原模型进行监督微调，以增强模型能 力。直接偏好优化 （DPO）[26] 也是 RLHF 的替代方案之一。 DPO利用奖励函数和最优策略之间的映射关系，将约束奖励 最大化问题转换为单阶段的策略优化问题。DPO算法因无须 拟合奖励模型，且无须在微调期间从LM采样或执行重要的 超参数调整，从而实现了稳定性高、性能强且计算量轻等优秀表现，大大简化了实施和训练过程。

**对齐微调的背景**

**背景：**大语言模型在多个自然语言处理任务上展示出了惊人的能力。但是， 这些模型有时可能表现出意外的行为，例如制造虚假信息、追求不准确的目标，以及产生有害的、误导性的和偏见性的表达。对于 LLM，语言建模目标通过单词预测对模型参数进行预训练，但缺乏对人类价值观或偏好的考虑。为了避免这些意外行为，研究提出了人类对齐，使大语言模型行为能够符合人类的期望 。但是，与初始的预训练和适应微调（例如指令微调）不同， 语言模型的对齐需要考虑不同的标准（例如有用性， 诚实性和无害性）。已有研究表明对齐微调可能会在某种程度上损害大语言模型的通用能力，这在相关研究中被称为对齐税 。

**对齐标准：**近期，越来越多的研究致力于为规范大语言模型的行为制定多样化的标准。在此，我们选取三个具有代表性的对齐标准（即有用性、诚实性、无害性）作为讨论实例，这些标准已在现有文献中得到广泛采纳 。除此以外，从不同视角出发，还有其他针对大语言模型的对齐标准，涵盖了行为、意图、激励和内在层面， 这与上述三个对齐标准在本质上是相似的，或者使用了相似的对齐技术。根据不同需求，修改上述三个对齐标准也是可行的，例如将诚实性替换为正确性 ，或者关注某些特定的标准 。接下来，我们将对上述三个代表性的对齐标准给出简要的解释：

- 有用性：为了具有帮助性，大语言模型应当尽其所能以简明扼要、高效的方式帮助用户解决任务或回答问题。在更高层次上，当需要进一步澄清时，大语言模型应展示出通过相关提问获取额外相关信息的能力，并表现出合适的敏感度、洞察力和审慎程度 。实现大语言模型有用行为的对齐具有挑战性，因为准确定义和衡量用户意图是困难的 。
- 诚实性：在基本层面上，诚实的大语言模型应该向用户提供准确的内容，而不会捏造信息。此外，大语言模型在输出时传达适当程度的不确定性至关重要，以避免任何形式的欺骗或信息误传。这需要模型了解其能力和知识水平（例如“知道未知”）。根据过去的研究 ，与有用性和无害性相比，诚实性是一个更客观的标准，因此在诚实性上的对齐可能较少依赖人力。

- 无害性：要做到无害，这要求模型生成的语言不得具有冒犯性或歧视性。在最大限度地发挥其能力的前提下，模型应能够检测到旨在搜集恶意目的请求的隐蔽行动。理想情况下，当模型被诱导去执行危险行为（如犯罪）时，大语言模型应礼貌地拒绝。然而，哪些行为被认为是有害的以及多大程度的有害因个人或社会的差异而不同 ，这在很大程度上取决于谁在使用大语言模型、提出的问题类型以及使用大语言模型的背景（如时间）。

正如我们所看到的，这些对齐标准相当主观，并基于人类认知进行制定。因此，将它们直接制定为大语言模型的优化目标是困难的。在现有的研究中，有许多方法可以在对齐大语言模型时满足这些标准。一个有前景的技术是红队攻防 ，它涉及使用手动或自动手段以对抗性方式探测大语言模型，生成有害输出，然后更新大语言模型以防止此类输出。

**人类反馈收集**

在预训练阶段，大语言模型使用大规模语料库，以语言建模为训练目标进行训练。然而，这样的训练目标缺乏人类对大语言模型输出的主观和定性评估（人类反馈）。高质量的人类反馈对于调整大语言模型与人类偏好和价值观的一致性非常重要。在本部分，我们将讨论如何筛选出优秀的人类标注者来进行反馈数据收集。

**标注人员选择：**现有的工作中，生成人类反馈数据的主要方法是人工标注 。这凸显了人类标注者在反馈收集的重要作用。为了提供高质量的反馈数据，标注人员应具有合格的教育水平和优秀的英语能力。例如，Sparrow  要求标注人员在英国出生，母语为英语，并至少获得本科学历。此外，在中，高优先级任务中的约一半标注人员是从拥有硕士学位的 Amazon Mechanical Turk 工作人员中招募的。即便如此，一些研究发现标注人员与研究人员的意图仍然会存在不匹配的问题，这可能导致低质量的人类反馈并导致大语言模型产生意外的输出。为了解决这个问题，InstructGPT  进一步进行筛选过程，通过评估标注人员与研究人员之间意图的一致性来筛选标注人员。具体而言，研究人员首先进行少量的数据的标注，然后衡量他们自己和标注人员之间的一致性。选择一致性最高的标记者继续进行后续的注释工作。在一些其他的工作中 ，使用“优秀标注者”来确保人类反馈的高质量。研究人员评估标注人员的表现，并选择一组表现良好的人类标注人员（例如高一致性)作为优秀标注者。优秀标注者将优先与研究人员合作进行后续的研究。在标注人员进行标注的过程中，提供详细的标注指令与实时的指导是有帮助的 ，这可以对标注结果进一步的规范化。

**人类反馈收集：**在现有的工作中，主要有三种方法从人类标注者中收集反馈和偏好数据。

- 基于排序的方法：在早期的工作中 ，标注人员通常以较为粗略的方式（从若干个候选中选择最佳的）评估模型生成的输出，而不考虑更精细的对齐标准。然而，不同的标注者可能对最佳候选结果的选择持有不同的意见，同时，这种方法忽略了未被选中的样本，可能导致不准确或不完整的人类反馈。为了解决这个问题，随后的研究  引入了 Elo 评分系统 ，通过对候选生成结果进行一一比较来得到一个候选结果的排序。输出的排序结果将用于指导模型偏好某些输出而不是其他输出，从而产生更可靠和更安全的输出。

- 基于问题的方法：此外，标注人员可以通过回答研究人员设计的特定问题来提供更详细的反馈 ，这些问题能够涵盖不同的对齐标准以及对大语言模型的其他约束条件。特别地，在 WebGPT  中，为了帮助模型从检索到的文档中过滤和利用相关信息，标注人员需要回答关于检索到的文档是否有用于回答给定输入的问题，并提供多个选项。

- 基于规则的方法：此外，在许多研究中，基于规则的方法也被用来提供更详细的人类反馈。作为一个经典模型， Sparrow  不仅选择要求标注人员挑选最佳的回复，还设计了一系列规则来测试模型生成的回复是否符合有用、正确和无害的对齐标准。通过这种方式，研究人员可以获得两种类型的人类反馈数据：(1) 通过比较模型生成的输出对的质量来获得单纯的偏好反馈，和 (2) 通过收集人类标注者的评估（即表示生成的输出违反规则的程度）来获得规则反馈。此外， GPT-4  利用一组零样本分类器（基于 GPT-4 本身）作为基于规则的奖励模型，可以自动确定模型生成的输出是否违反了一组人类编写的规则。

接下来，我们将重点关注一种被广泛应用于大语言模型（如 ChatGPT）中的技术，即基于人类反馈的强化学习（RLHF）。

**基于人类反馈的强化学习**

为了使 LLM 与人类价值观保持一致，人们提出了基于人类反馈的强化学习（RLHF） ，使用收集到的人类反馈数据对 LLM 进行微调，有助于改进对齐标准（例如，有用性，诚实性和无害性）。RLHF 采用强化学习（RL）算法（例如，近端策略优化（PPO） ）通过学习奖励模型使 LLM 适应人类反馈。这种方法将人类纳入训练的循环中来开发对齐性能良好的 LLM，如 InstructGPT 。

**RLHF** **系统：**RLHF 系统主要包括三个关键组件：要对齐的预训练 LM、从人类反馈中学习的奖励模型以及训练 LM 的RL 算法。具体来说，预训练 *LM* 通常是一个生成模型，它使用现有的预训练 LM 参数进行初始化。例如，OpenAI 在其第一个主流的 RLHF 模型 InstructGPT  中使用 175B 参数量的 GPT-3，而 DeepMind 在其 GopherCite 模型  中使用 2800 亿参数模型 Gopher . 此外，奖励模型（RM）提供（学习的）指导信号，这些信号反映了人类对 LM 生成的文本的偏好，通常以标量值的形式存在。奖励模型可以采用两种形式：微调的 LM 或使用人类偏好数据重新训练的 LM。现有工作通常采用具有与需要对齐的 LM  不同的参数尺度的奖励模型。例如，OpenAI 使用 6B 参数量的 GPT-3，DeepMind 使用 7B 参数量的 Gopher 作为奖励模型。最后，为了使用来自奖励模型的信号优化预训练 LM，设计了一种特定的 RL 算法用于大规模模型调整。具体地，近端策略优化（Proximal Policy Optimization， PPO）  是一种在现有工作中广泛使用的 RL 对齐算法 .

> RLHF系统主要包括以下三个关键组件：
>
> 1. **要对齐的预训练 LM**： 这是RLHF系统的基础模型，通常是一个预训练的大型语言模型（LM），如BERT、GPT等。这个模型将被用作基准，以便通过对其进行微调或调整，使其适应特定的任务或应用场景。
> 2. **从人类反馈中学习的奖励模型**： 这个组件是用来根据人类反馈来学习模型行为的模型。这个模型可能是一个监督学习模型，它从人类提供的数据中学习，以预测哪些模型生成的文本是好的、正确的或有用的，以及哪些是糟糕的、错误的或无用的。这个奖励模型的目的是为RL算法提供反馈信号，帮助模型在训练过程中学习更好的策略。
> 3. **训练 LM 的RL 算法**： 这是RLHF系统的核心组件，它使用强化学习（RL）算法来训练预训练 LM 模型。RL算法通过与环境的交互来学习策略，使模型能够生成更符合人类期望的文本。在这种情况下，环境可以是要解决的具体任务或应用场景，而模型的行为则是生成的文本。
>
> 通过整合这三个组件，RLHF系统能够通过从人类反馈中学习，并使用RL算法来微调或训练预训练 LM 模型，以提高模型在特定任务或应用场景中的性能和适应性。

**RLHF** **的关键步骤：**

图说明了 RLHF 的整个三步过程:

具体如下所述：

- 监督微调：为了使 LM 具有初步执行所需行为的能力，通常需要收集一个包含输入提示（指令）和所需输出的监督数据集，以对 LM 进行微调。这些提示和输出可以由人工标注人员针对某些特定任务编写，同时确保任务的多样性。例如，InstructGPT  要求人工标注者编写提示（例如，“List five ideas for how to regain enthusiasm for my career”）和一些生成式任务（如开放域问答、头脑风暴、聊天和重写）的期望输出。请注意，第一步在特定设置或场景中是可选的。

- 训练奖励模型：第二步是使用人类反馈数据训练 RM。具体来说，使用 LM 使用采样提示（来自监督数据集或人工生成的提示）作为输入来生成一定数量的输出文本，然后邀请人工标注员为这些对标注偏好。标注过程可以以多种形式进行，常见的做法是对生成的候选文本进行排序标注，这样可以减少标注者之间的不一致性。然后，需要训练 RM 预测人类偏好的输出。在 InstructGPT 中，标注员将模型生成的输出从最好到最差进行排名，然后训练 RM（即 6B 参数量的GPT-3）来预测排名。

- *RL* 微调：在这一步骤中，对齐（即微调）LM 被形式化为 RL 问题。在此设置中，预训练的 LM 作为策略，将提示作为输入并返回输出文本，它的动作空间是 LM 的词表，状态是当前生成的 token 序列，奖励由 RM。为了避免显着偏离初始（调整前）LM，通常将惩罚项纳入奖励函数。例如，InstructGPT 使用 PPO 算法针对 RM 优化 LM。对于每个输入提示，InstructGPT 计算当前 LM 和初始 LM 生成的结果之间的 KL 散度作为惩罚。值得注意的是，第二步和最后一步可以多次迭代来更好地对齐 LLM。

> 预训练是一种无监督学习过程，其目标是在大规模的未标记文本数据上学习模型的参数。在预训练阶段，模型只能观察输入文本的内容，并且没有对应的标签或目标。预训练过程通常包括自监督任务，如掩码语言模型（Masked Language Model，MLM）或下一句预测（Next Sentence Prediction，NSP），以利用文本数据中的自然语言结构和统计规律。
>
> 而指令微调是一种监督学习过程，其目标是在特定任务的标记数据集上微调预训练好的模型。在微调阶段，模型通过观察带有标签的训练数据来学习任务的特定模式和特征。微调的目标是使模型适应特定任务的要求，通常是最小化损失函数或优化任务相关的指标。
>
> 因此，预训练和指令微调是两个不同阶段、不同类型的学习过程，前者是无监督学习，后者是监督学习。预训练通过学习大规模未标记数据中的通用知识，为模型提供了一个良好的初始化参数，而指令微调则在特定任务上利用标记数据对模型进行优化和调整，以适应特定任务的要求。

> 预训练模型通常具备一定的问答能力。预训练模型在大规模的文本数据上进行了训练，学习到了丰富的语言表示和语义知识，包括词义、句法结构、语境等。这些模型能够对文本中的信息进行理解和推理，并且能够根据给定的问题生成相应的答案。
>
> 例如，像BERT、GPT等预训练模型已经在问答任务上取得了很好的表现。在问答任务中，模型接收一个问题和一段文本作为输入，然后生成相应的答案或者从文本中提取答案。这些模型通过在大规模数据上进行预训练，学习到了丰富的语言表示和知识，能够对问题和文本进行深入理解，并生成准确的答案。
>
> 当然，要使预训练模型在问答任务上表现良好，还需要在特定问答数据集上进行微调，以调整模型参数以适应特定的问答场景。通过微调，预训练模型可以在问答任务上取得更好的性能，并且能够根据特定的问题和语境生成更加准确的答案。

## 使用大模型

经过预训练或适应微调之后，使用大语言模型的主要方法是为解决各种任务设计适当的提示策略。典型的提示方法是上下文学习 ，它将任务描述和/或样例以自然语言文本的形式表达。此外，可以通过将一系列中间推理步骤纳入提示中，采用思维链提示来增强上下文学习。

大模型（例如GPT-4）在处理复杂任务时，可以利用上下文学习（ In-context Learning，ICL）和思维链（Chain-of-Thought, CoT）提示来提高性能。

在实际应用中，上下文学习和思维链提示可以结合使用。例如，在处理复杂的语言任务时，可以先通过上下文学习设定任务背景，再通过思维链提示逐步解决问题。这种综合应用可以显著提高模型的表现和准确性。

### 上下文学习

上下文学习（ICL, In-context Learning）首次在GPT-3中被提出，并成为利用大语言模型的典型方法。

大语言模型在推理过程中通过观察上下文中的示例来学习和执行任务，而不需要显式的参数更新。ICL 使得模型能够快速适应和处理新的任务，只需提供足够的上下文示例即可。

上下文学习指的是模型能够从给定的上下文中学习并适应任务需求，而不需要显式的训练。模型通过在输入中包含示例或描述，从而理解任务要求并给出相应的输出。

**优点：**

1. **灵活性高**：可以快速适应不同类型的任务，只需提供适当的上下文。
2. **无需额外训练**：直接利用现有的模型能力，不需要额外的数据或训练步骤。

**示例：**

```markdown
**任务** 翻译以下句子：
1. 英文：Hello, how are you?
2. 中文：你好，你好吗？

**输入**
- 英文：What is your name?
- 中文：
```

模型通过上下文中提供的翻译示例，理解并翻译新的句子。

**上下文学习的一般形式**

根据 Brown 等人给出的定义 ，ICL 使用一种由任务描述和/或几个任务样例作为示范组成的自然语言提示。

首先，从任务数据集中选择一些样例作为示范。

然后，按照特定的顺序将它们与特别设计的模板组合成自然语言提示。

最后，将测试样例添加到大语言模型的输入中以生成输出。

基于任务示范，大语言模型可以在没有显式梯度更新的情况下识别和执行新任务。

设 $D_{k} = \{ f(x_{1}, y_{1}), ..., f(x_{k}, y_{k}) \}$代表由 $k$ 个样例组成的一组示范，其中  $f(x_k, y_k)$ 是将第 $k$ 个任务样例转换为自然语言提示的函数。给定任务描述 ***I***、样例 $D_{k}$以及新的输入查询 $x_{k+1}$，大语言模型生成的输出 $y_{k+1}^{\hat{}}$ 的预测可以用如下公式表示:

答案由大语言模型的预测结果给出。因为 ICL 的性能主要取决于样例，如何在提示中合理地设计它们是一个重要的问题。根据上述公式的构建过程，我们着重于提示中示范的设计，包括如何选择组成示范的样例，用函数 *f*(*·*) 将每个样例格式化到提示中，以及如何合理地排列这些样例。

我们特别关注两个方面，即样例设计以及 *ICL* 背后的机制。此外，ICL 还与指令微调有着密切的联系，因为它们都将任务或样例转化为自然语言的形式。但是，指令微调需要微调大语言模型的权重，而 ICL 不涉及微调，仅仅是使用大语言模型的一种方式。此外，指令微调可以提高大语言模型执行目标任务的 ICL 能力，尤其是在零样本设置下（仅使用任务描述）

**样例设计**

多项研究表明，ICL 的有效性在很大程度上受到样例设计的影响 。主要从三个方面介绍 ICL 的样例设计，即样例选择、格式和顺序。

**样例选择：** 根据 ，不同的样例对于 ICL 的性能影响非常大。因此，选择一个能够有效发挥大语言模型 ICL 能力的样例子集是非常重要的。关于样例选择的主要方法有两种，即启发式方法和基于大语言模型的方法：

- 启发式的方法：由于其简单性和低成本，现有工作广泛采用启发式方法来选择样例。一些研究采用基于 K-NN 的检索器来选择与查询语义相关的样例 。然而，他们只是针对每一个样例进行单独选择，而不是对整个样例集合进行评估。为了解决这个问题，一些研究提出了基于多样性的选择策略来选择特定任务的最具代表性的样例子集 。此外，在选择样例时同时考虑了相关性和多样性。

- 基于大语言模型的方法：另一部分工作利用大语言模型来选择示例。例如，大语言模型可以直接根据添加样例后的性能提升评估每个样例的信息量以进行选择。此外，EPR  提出了一种两阶段检索方法，首先使用无监督方法（例如 BM25）召回类似的示例，然后使用密集检索器（使用大语言模型标记的正负样例训练）对它们进行排名。样例选择的任务还可以建模为一个强化学习问题，其中大语言模型作为奖励函数，为训练策略模型提供反馈 。因为大语言模型在文本标注方面表现良好 ，一些研究采用大语言模型本身作为样例生成器 。

总而言之，针对上述两种选择方法，ICL 中所选择的样例应该包含足够的有关要解决任务的信息，并且与测试查询相关。

**样例格式：**在选择任务样例之后，下一步是将它们格式化为大语言模型的自然语言提示。一种直接的方法是用相应的输入输出对来实例化预定义的模板 。为了构建更具信息量的模板，一些研究考虑添加任务描述，或者通过 CoT (Chain-of-Thought 链式思维）提示来增强大语言模型的推理能力。例如，收集了一个由人类编写的大规模指令数据集，大语言模型使用这个数据集微调后，可以提升已见任务的性能，还可以在一定程度上泛化到未见任务上。为了降低注释成本，在*Cross-task generalization via natural language crowd sourcing instructions*  中作者提出了一种半自动化方法，该方法通过使用由人工编写的任务描述组成的种子集来提示大语言模型生成新任务的任务描述。由于人工标注不同任务的样例格式成本较高，一些工作研究了如何自动生成高质量的样例格式。作为两种典型的方法，Auto-CoT  利用大语言模型，使用零样本提示 “*Let’s* *think step by step*” 来生成中间推理步骤，而 *least-to-most* 提示  首先查询大语言模型进行问题分解，然后按顺序依次解决他们，其中的每个子问题都在提示中添加了之前解决的子问题的答案。

**样例顺序：**大语言模型有时会受到顺序偏差的影响，即倾向于重复样例结尾处的答案 。因此，以合理的顺序排列样例（即任务示例）非常重要。早期的工作提出了一些启发式方法来快速地找到一个良好的顺序。例如，可以直接根据嵌入空间中与查询的相似度排列样例 ：相似度越高，距离结尾越近。此外，全局和局部熵度量可以用来给不同的样例顺序打分 。受到信息论的启发，近期研究提出最小化压缩和传输任务标签所需的码长来整合更多的任务信息 。然而，这些方法需要额外的标记数据作为验证集来评估性能。为了消除标注验证集的需要，在*Fantastically ordered prompts and where to find them: Overcoming few-shot prompt order sensitivity*  中作者提出从大语言模型本身采样数据作为验证集。

**底层机制**

经过预训练，大语言模型可以在不更新梯度的情况下表现出令人惊艳的 ICL 能力。在接下来的内容中，我们将讨论关于大语言模型 ICL 能力的两个关键问题，即“预训练如何影响 *ICL* 能力”和“大语言模型如何在推理阶段执行 *ICL*”。

**预训练如何影响ICL?** ICL 首次在 GPT-3  中提出，其表明 ICL 的能力随着模型尺寸的增大而增强。而有些研究表明，小规模的预训练语言模型也可以通过特别设计的训练任务来展示出强大的 ICL 能力（例如学习根据由任务实例和查询组成的输入来预测标签），甚至可能超越规模更大的模型 。因此，训练任务的设计是影响大语言模型的 ICL 能力的一个重要因素。除了训练任务之外，近期研究还探索了 ICL 与预训练语料之间的关系 。研究表明，ICL 的性能主要取决于预训练语料的来源而非规模 。另一项研究 深入分析了训练数据分布的影响。他们发现，当训练数据可以被聚类成许多不常见的类别，而不是均匀分布，模型就会出现 ICL 的能力。此外，在  中作者们从理论上给出了解释，他们认为 ICL 是在具备长程连贯性的文档上进行预训练的产物。

**大语言模型如何实现ICL?** 在推理阶段，因为 ICL 不涉及显式的学习或更新，研究人员侧重于分析 ICL 能力和给定的样例之间的关系。他们通常从梯度下降的角度进行分析，并将 ICL 视为隐式微调 。根据这一框架，ICL 可以解释为：通过前向计算，大语言模型生成关于样例的元梯度，并通过注意力机制隐式地执行梯度下降。实验也表明，大语言模型中的某些注意力头能够执行与 ICL 能力密切相关的任务无关的原子操作（例如复制和前缀匹配） 。为了进一步探索 ICL 的工作机制，一些研究将 ICL 抽象为一种算法学习过程 。具体来说，在  中作者发现，在预训练阶段大语言模型在参数中隐式地编码了一个模型，在推理阶段，通过 ICL 中提供的示例，大语言模型可以实现诸如梯度下降之类的学习算法，或者直接计算出闭式解以更新这些模型。基于这一框架，研究人员发现大语言模型能够有效地学习简单的线性函数，甚至一些复杂的函数如决策树 。

### 思维链提示

思维链（Chain-of-Thought， CoT） 是一种改进的提示策略，旨在提高大语言模型在复杂推理任务中的性能，例如算术推理 ，常识推理  和符号推理 。CoT不同于 ICL 仅通过输入-输出对构建提示，而是将可以导出最终输出的中间推理步骤纳入提示中。下面我们将详细介绍使用 CoT 进行 ICL 的方法，并讨论 CoT 提示何时以及为何起作用。

思维链提示是一种方法，通过提供逐步解决问题的过程或逻辑链，帮助模型更好地理解和解决复杂问题。这种方法尤其适用于需要多步推理的任务。

**优点：**

1. **增强推理能力**：通过显式的思维过程提示，引导模型进行逻辑推理。
2. **提高准确性**：在复杂任务中，逐步提示可以减少错误，提高最终结果的准确性。

**示例：**

```markdown
**任务：** 解决以下数学问题：
问题：如果一个苹果的价格是3元，买5个苹果需要多少钱？

**思维链提示：**
1. 一个苹果的价格是3元。
2. 买5个苹果。
3. 总共需要付费的金额是3元/个 * 5个。
4. 计算结果是15元。

**答案：** 15元
```

通过提供逐步的思维过程，模型可以更好地理解问题并计算正确的答案。

**用 *CoT* 进行上下文学习**

通常情况下，CoT 可以在少样本和零样本设置这两种设置下与 ICL 一起使用。

**少样本CoT**：少样本 CoT 是 ICL 的一个特例，它通过加入CoT 推理步骤将每个示范 *⟨* 输入，输出 *⟩* 扩充为 *⟨* 输入，*CoT*，输出 *⟩*。我们接下来将讨论使用 CoT 的两个关键问题，即如何设计合适的 CoT 提示以及如何利用生成的 CoT 推导出最终答案。

- *CoT* 提示设计：设计合适的 CoT 提示对于有效引出大语言模型的复杂推理能力至关重要。一种直接的方法是使用多样的 CoT 推理路径（即每个问题的多个推理路径），这可以有效增强性能 。另一个直觉的想法是，具有复杂推理路径的提示更有可能引出大语言模型的推理能力 。然而，这两种方法都需要标注 CoT，这限制了它们在实践中的应用。为了克服这个限制，Auto-CoT  提出了利用 Zero-shotCoT （详见零样本 CoT 部分）让大语言模型生成推理路径。为了提高性能，Auto-CoT 进一步将训练集中的问题分成不同的簇，并选择最接近每个簇质心的问题，它们可以很好地代表整个训练集。尽管少样本 CoT 被视为 ICL 的一种特殊提示情况，但相比于 ICL 中的标准提示，示范的顺序似乎对性能影响相对较小：在大多数任务中，重新排序样例导致的性能变化少于 2% 。
- 增强的 *CoT* 策略：除了丰富上下文信息外，CoT 提示还提供了更多推断答案的选项。现有研究主要关注如何生成多个推理路径，并尝试在对应的答案中寻求共识。例如，*self-consistency* 首先用大语言模型生成多个推理路径，然后对所有答案进行集成（例如通过在这些路径之间进行投票来选择最一致的答案）。*Self-consistency* 极大地提高了 CoT 推理的性能，甚至可以改善一些效果差于标准提示的任务（例如闭卷问答和自然语言推理）。此外，*Rationale-augmented ensembles in language models* 中作者将 self-consistency 策略扩展为更通用的集成框架 （提示的集成），他们发现多样化的推理路径是 CoT 推理性能提高的关键。上述方法可以很容易地集成到 CoT 提示中以提高性能，而无需进行额外的训练。其他研究则通过训打分模型来衡量生成的推理路径的可靠性 ，或者持续地使用大语言模型自己生成的推理路径进行训练  以提高性能。

**零样本CoT**：与少样本 CoT 不同，零样本 CoT 没有在提示中加入人工标注的样例。相反，它直接生成推理步骤，然后利用生成的 CoT 来得出答案。零样本 CoT 最初是在  中提出的，其中大语言模型首先通过“*Let’s think step by step*”提示生成推理步骤，然后通过“*Therefore，the answer is*”提示得出最终答案。他们发现，这种策略在模型规模超过一定大小时可以显著提高性能，但在小型模型中效果不佳，这是涌现能力的表现。为了在更多任务上解锁 CoT 能力，Flan-T5 和 Flan-PaLM  使用 CoT 进行了指令调整，有效增强了在未见任务上的零样本性能。

**关于 *CoT* 的讨论**

在这部分中，我们将讨论两个与 CoT 相关的基本问题，即“*CoT* 何时适用于大语言模型”和“大语言模型为什么能够进行 *CoT* 推理”。

**CoT何时适用于大语言模型?** 
由于 CoT 是一种涌现能力 ，它只能有效增强有 100 亿或更多参数的足够大的模型 ，而对小模型则无效。此外，由于 CoT 通过中间推理步骤增强了标准提示，它的效果主要体现在需要逐步推理的任务 ，例如算术推理、常识推理和符号推理。然而，对于不依赖于复杂推理的其他任务，它可能会比标准提示表现更差 ，例如 GLUE 数据集  中的 MNLI-m/mm、SST-2和 QQP。有趣的是，CoT 提示带来的性能提升似乎只有在标准提示表现较差的情况下才会较为显著 。

**大语言模型为什么能够进行*CoT*推理?** 
我们将从以下两个方面讨论 CoT 的基本机制。

- *CoT* 能力的来源：关于 CoT 能力的来源，研究者普遍将其归因于使用代码进行训练，因为在代码数据训练过的模型表现出强大的推理能力 。直观上，代码数据具有规范的算法逻辑和流程，这可能有助于提高大语言模型的推理性能。然而，这个假设仍然缺乏公开报告的消融实验作为证据（有和没有代码训练）。此外，指令调整似乎不是获得 CoT能力的关键原因，因为有实验表明，在非 CoT 数据上进行指令调整不会提高模型使用 CoT 完成任务的性能 。
- 各个组件的作用： CoT 提示与标准提示之间的主要区别在于在最终答案之前加入了推理路径，因此一些研究人员调查了推理路径中不同组成部分的影响。具体而言，最近的一项研究首先定义了 CoT 提示中的三个关键组成部分，即符号（例如算术推理中的数字）、模式（例如算术推理中的方程）和文本（即不是符号或模式的其余词）。结果表明，后两部分（即模式和文本）对模型的性能至关重要，去除其中任何一部分都会导致性能显著下降。然而，符号和模式的正确性似乎并不关键。此外，文本和模式之间存在共生关系：文本有助于大语言模型生成有用的模式，而模式则可以帮助大语言模型理解任务并生成额外文本以帮助解决任务 。

总之，CoT 提示提供了一种通用而灵活的方法来引出大语言模型的推理能力。还有一些工作尝试将这种技术扩展至多模态任务  和多语言任务 。除了直接通过 ICL 和CoT 使用大语言模型，最近还有一些研究探索了如何将大语言模型的能力用于特定任务 ，这被称为模型专业化。例如，在  中，研究人员用大语言模型生成推理路径，然后再用这些推理路径微调小规模的语言模型 Flan- T5 ，从而将大语言模型的数学推理能力专业化。模型专业化可以应用于解决各种任务，如问答 、代码生成 和信息检索 。

**一个关于上下文学习（ICL）和思维链（CoT）提示的比较说明。ICL 通过自然语言描述、多个样例和查询来提示大语言模型。而 CoT 提示涉及提示中的一系列中间推理步骤。**

上下文学习和思维链提示是提高大模型性能的两种有效方法。上下文学习通过提供示例或描述，帮助模型理解任务需求；思维链提示则通过逐步推理过程，增强模型的逻辑推理能力。结合使用这两种技术，可以应对各种复杂任务，提升模型的应用效果。

### Prompt工程

Prompt工程是一门设计和优化输入提示（prompts）以引导大语言模型生成所需输出的技术。它在上下文学习和思维链提示中起着重要作用。这些方法共同作用，可以提高模型在复杂任务中的表现和输出的质量。

Prompt工程主要关注如何设计输入提示，使模型能够理解并生成符合预期的输出。它包括以下几个方面：

1. **明确和具体**：提示应尽量明确，减少歧义。例如，与其说“告诉我关于气候变化的内容”，不如说“解释气候变化的主要原因和影响”。
2. **示例提示**：提供示例以引导模型。例如，“对于给定的问题，提供一个详细的解答过程”。
3. **多轮对话设计**：在多轮对话中，逐步引导模型生成所需信息。例如，首先获取基本信息，然后逐步深入。
4. **约束和引导**：使用明确的结构和格式指导模型。例如，“请按照以下格式回答：1. 问题描述，2. 解决方案，3. 结论”。

## 能力评测

为了检验大语言模型（LLM）的有效性和优越性，已有研究采用了大量的任务和基准数据集来进行实证评估和分析。首先，我们介绍了大语言模型在语言生成和语言理解方面的三种基本评估任务。然后，介绍了大语言模型在几种更复杂的设置或目标下的高级任务。最后，讨论了现有的基准和实证分析。

### 基础评测任务

在本部分中，我们主要关注大语言模型的三种评估任务，即语言生成、知识利用和复杂推理。需要注意的是，我们并不打算对所有相关任务进行完整覆盖，而是只关注大语言模型领域中最广泛讨论或研究的任务。

**语言生成**

根据任务定义，现有语言生成的任务主要可以分为语言建模、条件文本生成和代码合成任务。需要注意的是，代码合成不是典型的自然语言处理任务，但这类任务可以通过一些大语言模型（经过代码数据训练的模型）以类似自然语言文本生成的方法来解决，因此我们也将其纳入讨论。

**语言建模：**作为大语言模型最基本的能力，语言建模旨在基于前面的词元预测下一个词元 ，主要关注基本的语言理解和生成能力。用于评估这种能力的典型语言建模数据集包括 Penn Treebank 、WikiText-103  和 Pile ，其中困惑度指标通常用于评估零样本情况下模型的性能。实证研究表明，LLMs 在这些评估数据集上相较于之前的最先进方法带来了实质性的性能提升。为了更好地测试文本中的长距离依赖建模能力，引入了 LAMBADA 数据集 ，其中要求大语言模型基于一段上下文来预测句子的最后一个单词。然后使用预测的最后一个单词的准确性和困惑度来评估大语言模型性能。正如现有工作所示，语言建模任务的性能通常遵循扩展定律 ，这意味着提升语言模型的参数量将提高准确性并降低困惑度。

**条件文本生成：**作为语言生成中的一个重要话题，条件文本生成  旨在基于给定的条件生成满足特定任务需求的文本，通常包括机器翻译  、文本摘要   和问答系统  等。为了衡量生成文本的质量，通常使用自动指标（如准确率、BLEU  和 ROUGE ）和人类评分来评估性能。由于大语言模型具有强大的语言生成能力，它们在现有的数据集上取得了显著的性能，甚至超过了人类表现（在测试数据集上）。例如，仅给出 32 个示例作为输入，GPT-3 通过上下文学习能够在 SuperGLUE 的平均得分上超过使用完整数据微调的 BERT-Large ；在 MMLU 上，一个 5-shot 的 Chinchilla    的准确率几乎比人类的平均准确率提高了一倍，而在 5-shot 设置下，GPT-4  取得了当前最优秀的性能，平均准确率比之前的最佳模型提高了超过 10%。于是，人们开始关注现有的条件文本生成任务是否能够适当地评估和反映大语言模型的能力。考虑到这个问题，研究人员试图通过收集目前无法解决的任务（即大语言模型无法取得良好表现的任务）或创建更具挑战性的任务（例如超长文本生成 ）来制定新的评估基准，例如 BIG-bench Hard 。此外，最近的研究还发现自动指标可能会低估大语言模型的生成质量。在 OpenDialKG  中，ChatGPT 在 BLEU 和 ROUGE-L指标上表现不如微调的 GPT-2，但在人类评分中获得了更多的好评 。因此，需要更多的努力来开发更符合人类偏好的新指标。

**代码合成：**除了生成高质量的自然语言外，现有的大语言模型还表现出强大的生成形式化语言的能力，尤其是满足特定条件的计算机程序（即代码），这种能力被称为代码合成 。与自然语言生成不同，由于生成的代码可以通过相应的编译器或解释器直接进行检查，现有的工作主要通过计算测试用例的通过率（即 pass@k）来评估大语言模型生成的代码的质量16。最近，有工作提出了几个专注于功能正确性的代码基准，用来评估大语言模型的代码合成能力，例如 APPS 、 HumanEval  和 MBPP 。通常，它们由各种编程问题组成，具有题目描述和用于检查正确性的测试用例。为了提高这种能力，在代码数据上微调（或预训练）大语言模型是关键所在，这可以有效地使 LLMs 适应代码合成任务 。此外，现有的工作提出了新的代码生成策略，例如采样多个候选解 和规划引导的解码，这可以被认为是模仿程序员修复错误和规划代码编写的过程。令人印象深刻的是，大语言模型最近在程序竞赛平台 Codeforces 上取得了所有选手中前 28% 的排名，与人类表现相当 。此外，GitHub Copilot 已发布，可在编程 IDE（如 Visual Studio 和JetBrains IDE）中协助编程，支持包括 Python、JavaScript 和 Java 在内的多种语言。ACM 通讯中的一篇观点文章“The End of Programming” 讨论了 AI 编程在计算机科学领域的影响，强调了一个重要的转变，即将高度适应的大预言模型作为新的计算原子单位。
主要问题：虽然大语言模型在生成类似于人类的文本已经取得了出色的表现，但它们容易受到以下两个语言生成方面的问题影响。

- 可控生成：对于大语言模型，生成给定条件下的文本的主流方法，是通过使用自然语言指令或提示进行。尽管这种机制很简单，但对这些模型生成输出的细粒度或结构限制方面仍面临着重大挑战。现有工作  表明，当生成文本的时候施加复杂的结构约束，大语言模型可以很好地处理局部关系（例如，相邻句子之间的交互），但可能难以应对全局关系（即长距离相关性）。例如，要生成一个由多个段落组成的复杂长篇文章，仍然很难直接在全局上确保特定的文本结构（例如，概念的顺序和逻辑流程）。对于需要遵循结构化规则或语法的生成任务，例如代码合成，会更加具有挑战性。为了解决这个问题，一种潜在的解决方案是将一次性生成（即直接生成目标输出）扩展到大语言模型的迭代提示。这模拟了人类写作过程，将语言生成分解成多个步骤，例如规划、起草、重写和编辑 。几项研究已经证明，迭代提示可以激发相关知识，从而在子任务中实现更好的性能 。本质上， CoT 提示利用了将复杂任务分解成多步推理链的思想。此外，生成的文本的安全控制对于实际部署来说非常非常重要。研究表明大语言模型可能会生成包含敏感信息或冒犯性表达的文本 。虽然 RLHF 算法  可以在一定程度上缓解这个问题，但它仍然依赖于相当数量的人工标注数据来微调大语言模型，缺乏客观的优化目标。因此，必须探索有效的方法来克服这些限制，实现对大语言模型的输出进行更安全的控制。
- 专业化生成：尽管大语言模型已经学习了一般的语言模式以生成连贯的文本，但在处理专业领域或任务时，它们的生成能力可能受到限制。例如，一个已经在一般网络文章上进行训练的语言模型，在生成一个涉及许多医学术语和方法的医学报告时可能会面临挑战。直观上，领域知识对于模型的专业化至关重要。然而，将这种专业知识注入到大语言模型中并不容易。正如最近的分析所讨论的 ，当大语言模型被训练以展现某些特定的能力，使它们在某些领域表现出色时，它们可能会在其他领域遇到困难。这样的问题与神经网络训练中的灾难性遗忘  有关，它指的是整合新旧知识时产生的冲突现象。类似的情况也出现在人类对大语言模型的对齐中，其中必须支付 “对齐成本” （例如在上下文学习能力方面潜在的损失）以对齐于人类的价值观和需求。因此，开发有效的模型专业化方法至关重要，这些方法可以灵活地使大语言模型适应各种任务场景，并尽可能保留其原有的能力。

**知识利用**

知识利用是智能系统基于事实证据的支撑，完成知识密集型任务的重要能力（例如常识问题回答和事实补全）。具体而言，它要求大语言模型在必要的时候，适当地利用来自预训练语料库的丰富事实知识或检索外部数据。特别地，问答和知识补全已经成为评估这一能力的两种常用任务。根据测试任务（问答或知识补全）和评估设置（有或无外部资源），我们将现有的知识利用任务分为三种类型，即闭卷问答，开卷问答和知识补全。

**闭卷问答：**闭卷问答任务  测试大语言模型从预训练语料库中获取的事实知识。大语言模型只能基于给定的上下文回答问题，不能使用外部资源。为了评估这一能力，可以利用几个数据集，包括 Natural Questions 、Web Questions 和 TriviaQA ，其中广泛采用准确性作为指标。实验表明，大语言模型在这种情况下表现良好，甚至与最先进的开放领域问答系统的表现相匹配 。此外，大语言模型在闭卷问答任务上的性能也显示出扩展定律的模式，包括模型大小和数据大小方面的扩展定律：增加参数和训练词元数量可以增加大语言模型的容量，并帮助它们从预训练数据中学习（或记忆）更多的知识 。此外，在相似的参数规模下，通过更多与评估任务相关的数据训练的大语言模型将实现更好的性能 。此外，闭卷问答设置还为探究大语言模型编码的事实知识的准确性提供了测试平台。然而，正如现有研究所示 ，即使在预训练数据中存在相关的知识，大语言模型在依赖于细粒度知识的问答任务上的表现可能也会较差。

**开卷问答：**与闭卷问答不同，开卷问答任务中，大语言模型可以从外部知识库或文档集合中提取有用的证据，然后基于提取的证据回答问题 。典型的开卷问答数据集（例如，Natural Questions 、OpenBookQA  和SQuAD ）。虽然开卷问答数据集与闭卷问答数据集有重叠，但它们包含外部数据源，例如维基百科。准确性和 F1-score 是开卷问答任务中广泛使用的评估指标。为了从外部资源中选择相关知识，大语言模型通常与一个文本检索器（甚至是一个搜索引擎）配对，该文本检索器与大语言模型独立或联合进行训练 。在评测的过程中，现有研究主要关注并测试大语言模型如何利用提取的知识回答问题，并表明检索到的证据可以大大提高生成答案的准确性，甚至使较小的语言模型能够胜过比其参数量大 10 倍的大语言模型 。此外，开卷问答任务还可以评估知识信息的新旧程度。从过时的知识资源进行预训练或检索，可能会导致大语言模型对于时间敏感的问题生成不正确的答案 。

**知识补全：**在知识补全任务中，大语言模型在某种程度上可以被视为一个知识库 ，可以用于补全或预测知识单元（例如，知识三元组）的缺失部分。这种任务可以探究和评估大语言模型从预训练数据中学习的多少和什么样的知识。现有的知识补全任务可以粗略地分为知识图谱补全任务（例如，FB15k-237  和 WN18RR ）和事实补全任务（例如，WikiFact ），分别旨在补全知识图谱中的三元组和补全有关特定事实的句子。经验证实，现有的大语言模型很难完成涉及特定关系类型的知识完成任务 。在 WikiFact 的评估结果中，大语言模型在预训练数据中出现频率较高的一些关系（例如 currency 和 author）上表现良好，但在出现较少的关系（例如 discoverer_or_inventor 和 place_of_birth）上表现不佳。有趣的是，在相同的评估设置下（例如上下文学习），InstructGPT（即 text-davinci-002）在 WikiFact 的所有子集中均优于 GPT-3。这表明，指令微调有助于大语言模型完成知识完成任务。

**主要问题：**尽管大语言模型在捕获和利用知识信息方面取得了关键进展，但它们存在以下两个主要问题。

- 幻觉（*Hallucination*）：在生成事实文本时，一个具有挑战性的问题是幻觉生成 ，即其生成的信息与现有来源相冲突（内在幻觉）或无法通过现有来源验证（外在幻觉）。图 7中展示了两个例子。幻觉在现有的大语言模型中广泛存在，甚至包括最优秀的大语言模型，如 GPT-4 。实质上，大语言模型似乎“无意识地”在解决任务的过程中利用中的知识，但仍缺乏准确控制内部或外部知识使用的能力。幻觉会误导大语言模型生成不良输出，大大降低性能，在实际应用中可能带来潜在风险。为了缓解这个问题，现有的工作广泛利用对齐调整策略（如第 5.2 节中讨论的），依赖于在高质量数据上或使用人类反馈对大语言模型进行微调。为了评估幻觉问题，已经提出了一系列幻觉检测任务，例如 TruthfulQA ，用于检测模型是否会模仿人类的虚假言论。

- 知识实时性：作为另一个主要挑战，大语言模型在解决需要使用比训练数据更新的知识的任务时会遇到困难。为了解决这个问题，一个直接的方法是定期用新数据更新大语言模型。然而，微调大语言模型是非常昂贵的，而且在增量训练大语言模型时很可能会导致灾难性遗忘问题。因此，有必要开发高效有效的方法，将新知识集成到现有的大语言模型中，使其保持最新状态。现有的研究已经探索了如何利用外部知识源（例如搜索引擎）来补充大语言模型，这可以是与大语言模型一起优化的 ，也可以是作为一种即插即用的模块 。例如，ChatGPT 利用检索插件访问最新的信息源 。通过将提取的相关信息并入上下文 ，大语言模型可以获取新的事实知识，并在相关任务上有更好的表现。然而，这种方法似乎仍然处于表面层次。实验已经揭示了，直接修改内在知识或将特定知识注入大语言模型是很困难的，这仍然是一个值得研究的研究问题 。

**复杂推理**

复杂推理是指理解和利用相关的证据或逻辑来推导结论或做出决策的能力 。根据推理过程中涉及的逻辑和证据类型，我们考虑将现有的评估任务分为三个主要类别，即知识推理、符号推理和数学推理。

**知识推理：** 知识推理任务依赖于事实知识的逻辑关系和证据来回答给定的问题。现有的工作主要使用特定的数据集来评估相应类型的知识的推理能力，例如CSQA/StrategyQA用于常识推理，ScienceQA用于科学知识推理。此外，现有的工作还通过自动化评测（例如BLEU）或人类评估来评估生成的推理过程的质量。通常，这些任务要求大语言模型根据事实知识逐步推理，直到回答给定的问题。为了激发逐步推理的能力，有研究提出了思维链(Chain-of-Thoughts，CoT)提示策略来增强大语言模型的复杂推理能力。如第6.2节所述，CoT包括中间推理步骤，可以手动创建或自动生成，以指导大语言模型进行多步推理。这种方式大大提高了大语言模型的推理性能，使得在几个复杂知识推理任务上取得了最佳的效果。此外，将知识推理任务转化为代码生成任务后，研究人员发现大语言模型的性能可以进一步提高，特别是对于在代码上预训练的大语言模型。然而，由于知识推理任务的复杂性，当前大语言模型的性能仍然落后于人类在常识推理等任务上取得的结果。作为最常见的错误之一，大语言模型可能基于错误的事实知识生成不准确的中间步骤，导致错误的最终结果。为了解决这个问题，现有的工作提出了特殊的解码或投票策略来提高整个推理链的准确性。最近的一项实证研究表明，大语言模型可能难以明确推断出特定任务所需的常识知识，尽管它们可以成功地解决该任务。此外，它进一步表明，利用自动生成的知识可能不利于提高推理性能。

**符号推理：**符号推理任务主要关注于在形式化规则设置中操作符号以实现某些特定目标，其中操作和规则可能在大语言模型预训练期间从未被看到过。现有的工作通常在尾字母拼接和硬币反转任务上评估大语言模型，其中用于评测的数据与上下文示例有相同的推理步骤（称为领域内测试）或更多步骤（称为领域外测试）。对于领域外测试的例子，大语言模型只能看到上下文示例中有两个单词的示例，但需要大语言模型在测试中需要将三个或更多单词的最后一个字母进行拼接。通常，采用所生成符号的准确性来评估大语言模型在这些任务上的性能。因此，大语言模型需要理解符号操作之间的语义关系以及它们在复杂场景中的组合。然而，在领域外测试下，由于大语言模型没有看到符号操作和规则的复杂组合（例如上下文示例中有两倍的操作数量），因此难以捕捉其准确含义。为了解决这个问题，现有研究结合了 scratchpad  和 tutor  策略来帮助大语言模型更好地操作符号，生成更长和更复杂的推理过程。另一条研究路线利用形式化编程语言来表示符号操作和规则，这要求大语言模型生成代码并通过外部解释器执行推理过程。这种方法可以将复杂的推理过程分解为大语言模型的代码合成和解释器的程序执行，从而简化推理过程并获得更准确的结果 。

**数学推理：**数学推理任务需要综合利用数学知识、逻辑和计算来解决问题或生成证明过程。现有的数学推理任务主要可分为数学问题求解和自动定理证明两类。对于数学问题求解任务，常用的评估数据集包括 SVAMP 、GSM8k 和 MATH  数据集，其中大语言模型需要生成准确的具体数字或方程来回答数学问题。由于这些任务也需要多步推理，CoT 提示策略已被广泛采用来提高大语言模型的推理性能 。作为一种实际策略，持续在大规模数学语料库上

预训练大语言模型可以大大提高它们在数学推理任务上的性能 。此外，由于不同语言中的数学问题共享相同的数学逻辑，研究人员还提出了一个多语言数学问题基准测试 ，用于评估大语言模型的多语言数学推理能力。作为另一个具有挑战性的任务，自动定理证明（ATP）需要推理模型严格遵循推理逻辑和数学技能。为了评估在此任务上的性能，PISA  和 miniF2F  是两个典型的ATP 数据集，其中证明成功率是评估指标。作为一种典型的方法，现有的 ATP 工作利用大语言模型来辅助定理证明器（如 Lean、Metamath 和 Isabelle）进行证明搜索 。

ATP 研究的一个主要限制是缺乏形式语言相关的语料库。为了解决这个问题，一些研究利用大语言模型将非形式化语句转换为形式证明以增加新数据 ，或者生成草稿和证明草图以减少证明搜索空间 。

**主要问题：**尽管有所进展，大语言模型在解决复杂的推理任务方面仍存在一些限制。

- 不一致性：通过改进推理策略（如 CoT），大语言模型可以执行基于逻辑和支撑性证据的逐步推理，从而解决一些复杂的推理任务。尽管这种方法是有效的，但在推理过程中经常出现 不一致性问题。具体而言，大语言模型可能会在错误的推理路径下生成正确答案，或者在正确的推理过程之后产生错误答案 ，导致导出的答案与推理过程之间存在不一致性。为了缓解这个问题，现有的工作提出了通过外部工具或模型指导大语言模型的整个生成过程 ，或者重新检查推理过程和最终答案以进行纠正  的方法。作为一种潜在的解决方案，最近的方法将复杂的推理任务重新转化为代码生成任务，其中通过严格执行生成的代码以确保了推理过程和结果之间的一致性。此外，还发现可能存在相似输入的任务之间的不一致性，其中任务描述中的微小变化可能会导致模型产生不同的结果 。为了缓解这个问题，可以使用多个推理路径的进行投票来增强大语言模型的解码过程 。
- 数值计算：对于复杂的推理任务，大语言模型在涉及数值计算时仍然面临困难，特别是对于在预训练阶段很少遇到的符号，例如大数字的算术运算 。为了解决这个问题，一种直接的方法是在合成的算术问题上微调大语言模型 。一系列的研究根据这种方法，并通过特殊的训练和推理策略进一步提高数值计算性能 ，例如使用草稿纸推演。此外，现有的工作还包括使用外部工具（例如计算器）来处理算术运算 。最近，ChatGPT 提供了一个插件机制来使用外部工具 。这样，大语言模型需要学习如何正确地操作这些工具。为此，研究人员通过使用工具（甚至是大语言模型本身）来调整大语言模型的示例 ，或者为上下文学习设计指令和示例 。然而，这些大语言模型仍然依赖于文本上下文来捕捉数学符号的语义含义（在预训练阶段），这本质上并不适合于数值计算。

### 高级能力评估

除了上述基本评估任务外，大语言模型还展现出一些需要特殊考虑的高级能力。在本节中，我们将讨论几种代表性的高级能力及其相应的评估方法，包括人类对齐、与外部环境的互动、工具操作等。接下来，我们将详细讨论这些高级能力。

**人类对齐**

人类对齐指的是让大语言模型能够很好地符合人类的价值和需求，这是在现实世界应用中广泛使用大语言模型的关键能力。为了评估这种能力，现有的研究考虑了多个人类对齐的标准，例如有益性、诚实性和安全性 。对于有益性和诚实性，可以利用对抗性问答任务（例如 TruthfulQA ）来检查大语言模型在检测文本中可能的虚假性方面的能力 。此外，有害性也可以通过若干现有的基准测试来评估，例如 CrowS-Pairs  和 Winogender 。尽管存在以上数据集的自动评估，人工评估仍然是一种更直接有效的测试大语言模型人类对齐能力的方法。OpenAI 邀请了许多与 AI风险相关的领域专家来评估和改进 GPT-4 在遇到风险内容时的行为 。此外，对于人类对齐的其他方面（例如真实性），一些研究提出使用具体指令和设计标注规则来指导评价过程 。实证研究表明，这些策略可以大大提高大语言模型的人类对齐能力 。例如，在与专家交互收集的数据的对齐调整后，GPT-4 在处理敏感或不允许的提示时的错误行为率可以大大降低。此外，高质量的预训练数据可以减少对齐所需的工作量 。例如，Galactica 模型在含有较少偏见内容的科学语料库上进行预训练，因此可能更加无害 。

**与外部环境的互动**

除了标准评估任务外，大语言模型还具有从外部环境接收反馈并根据行为指令执行操作的能力，例如生成自然语言行动计划以操作智能体 。大语言模型中具备这种能力，可以生成详细   高度逼真的行动计划，而较小的模型（例如 GPT-2）倾向于生成较短或无意义的计划 。

为了测试这种能力，研究者提出了一些具身体感知的人工智能基准进行评估。VirtualHome  构建了一个 3D 模拟器，用于家务任务（例如清洁和烹饪），代理人可以执行大语言模型生成的自然语言行动。ALFRED  包括更具挑战性的任务，需要大语言模型完成组合目标。BEHAVIOR 侧重于在模拟环境中进行日常杂务，并要求大语言模型生成复杂的解决方案，例如更改对象的内部状态。对于大语言模型生成的行动计划，现有的工作要么采用基准测试中的常规指标（例如生成的行动计划的可执行性和正确性），要么直接根据现实世界执行的成功率来评估这种能力 。现有的工作已经显示出大语言模型在与外部环境的互动和生成准确的行动计划方面的有效性 。最近，一些工作提出了几种改进方法来增强大语言模型的交互能力，例如设计类似代码的提示  和提供真实世界的反馈 。

**工具操作**

在解决复杂问题时，大语言模型可以在必要的情况下利用外部工具。通过封装可用工具的 API 调用，现有的工作已经考虑了各种外部工具，例如搜索引擎 、计算器  和编译器  等等，以增强大语言模型在特定任务上的性能。最近，OpenAI 已经支持在 ChatGPT 中使用插件 ，这使得大语言模型除了语言建模之外还具备了更广泛的能力。例如， Web 浏览器插件使 ChatGPT 能够访问实时信息。此外，整合第三方插件对于创建基于大语言模型的应用程序生态系统非常关键。

为了检验工具操作的能力，现有的工作大多采用复杂的推理任务进行评估，例如数学问题求解（例如 GSM8k 和 SVAMP ）或知识问答（例如 TruthfulQA ），其中成功操作工具对于增强大语言模型缺乏的所需技能非常重要（例如数值计算）。通过这种方式，这些任务的评估性能可以反映出大语言模型在工具操作方面的能力。为了让大语言模型学会利用工具，现有研究在上下文中添加使用工具的示例来让大语言模型学习使用方法 ，或基于工具操作的相关数据对大语言模型进行微调 。现有的工作发现，在工具的帮助下，大语言模型变得更加能够解决它们不擅长的问题，例如方程计算和利用实时信息，并最终提高了最终的性能 。

总结. 上述三种能力对于大语言模型在实际应用中的表现具有巨大的价值：符合人类价值和偏好（人类对齐）、在实际场景中正确行动（与外部环境交互）和扩展能力范围（工具操作）。除了上述三种高级能力之外，大语言模型还可能展现出一些有关特定任务（例如数据标注 ）或学习机制（例如自我改进 ）的其他高级能力。发现、衡量和评估这些新兴能力以更好地利用和改进大语言模型将是一个开放的研究方向。

### 公开基准和经验性分析

在上述章节中，我们已经讨论了大语言模型的评估任务及其相应的设置。接下来，我们将介绍现有的大语言模型评测基准和实证分析，从总体视角对大模型的能力进行更全面的讨论。

**评测基准**

数个用于评估大语言模型的综合性评测基准已于近日发布  。在本节中，我们将介绍几个具有代表性并得到广泛使用的评测基准，即 MMLU、BIG-bench 和HELM。

- *MMLU*  是一个通用评测基准，用于大规模评测大语言模型的多任务知识理解能力。其涉及到的知识涵盖数学，计算机科学以及人文和社会科学等领域，并包含从基础到进阶不同难度的任务。现有工作表明，大语言模型在这个基准上大多数情况下比小模型表现出更高的性能 ，这表明了模型尺寸的规模定律。最近，GPT-4 在 MMLU 上取得了显著成果（5-shot 设置下正确率达到 86.4%），远远优于以前的最佳模型 。
- *BIG-bench*  是一个由社区协作收集的评测基准，旨在从各个方面探究现有大语言模型的能力。它包含了 204 个任务，主题包括语言学、儿童发展、数学、常识推理、生物学、物理学、社会偏见、软件开发等等。通过扩展模型尺寸， few-shot 设置下的大语言模型甚至可以在 65% 的 BIG-bench任务中超过平均人类表现 。鉴于该评测基准的高评估成本，作者还提出了一个轻量级基准 BIG-bench-Lite，其中包含来自 BIG-bench 的 24 个小型、多样   具有挑战性的任务。此外，研究者们从 BIG-bench 中挑选大语言模型表现劣于人类的挑战性任务，提出了 BIG-bench hard （BBH）基准，用以探索大语言模型当前无法解决的任务。实验发现随着任务难度的增加，大部分小模型的性能接近于随机猜测。相比之下，思维链提示可以引出大语言模型逐步推理的能力从而增强性能，使其在 BBH 中超过平均人类表现 。
- *HELM*  是一个综合性评测基准，目前包括 16 个核心场景和 7 类指标。它建立在许多先前提出的评测基准之上，旨在对大语言模型进行全面评估。HELM 的实验结果显示，指令微调可以在准确性、鲁棒性和公平性方面提高大语言模型的性能。此外，对于推理任务，已经在代码语料库上预训练的大语言模型表现出更优秀的性能。

以上评测基准涵盖了大量的主流大语言模型评估任务。此外，还有一些评测基准专注于评估大语言模型在特定任务上的能力，如用于评测多语言知识利用能力的 TyDiQA  和用于评测多语言数学推理的 MGSM 。研究者可以根据想要评测的能力选择相应基准。此外，Language Model Evaluation Harness  和 OpenAI Evals  等开源评估框架可供研究人员在现有评测基准上评估大语言模型，或者在新任务上进行个性化评估。

**大语言模型能力的综合分析**

除了构建大规模评估基准之外，大量研究已经进行了全面分析，以调查大语言模型的优势和局限性。在本部分中，我们将主要从两个主要方面简要讨论它们，即通才（通用能力）和专才（特定领域能力）。

**通才：**由于大预言模型出色的表现，现有的工作  对它们的通用能力进行了系统的评估，以探索它们在众多任务或应用中的表现。这些研究主要关注之前未经过充分调查的新兴大语言模型（例如 ChatGPT 和GPT-4），具体内容如下所述：

熟练度：为了评估大语言模型在解决一般任务方面的熟练度，现有的工作  通常收集一组涵盖各种任务和领域的数据集，然后在 few-shot 或 zero-shot 设置下测试大语言模型的性能。实验结果  显示大语言模型对通用任务有着卓越的解决能力。作为一项显著进展，GPT-4 在语言理解、常识推理和数学推理等一系列任务中超越了此前在特定数据集上训练过的方法 。此外，它可以在为人类设计的真实世界考试（例如美国大学预修课程考试和研究生入学考试）中达到近似于人类的表现 。最近，一项全面的定性分析  揭示了 GPT-4 能在各个领域的各种具有挑战性的任务中接近人类水平，例如数学、计算机视觉和编程，并将其视为“一个人工通用智能系统的!(file:///C:\Users\will\AppData\Local\Temp\ksohtml3748\wps47.jpg)期版本”。在这些令人鼓舞的结果之外，该分析也表明 GPT-4 仍然具有严重的局限性。例如，GPT-4 难以校准生成结果的置信度，并 无法验证其与训练数据和自身的一致性。此外，几项研究还表明，大语言模型可能会误解陌生概念 ，并 在解决与情感相关的实用任务方面 （例如个性化情感识别）面临挑战，表现不及特定的微调模型。

稳定度：对大模型的综合分析需要考虑的另一个方面是它们对噪声或扰动的稳定性，这对于实际应用尤其重要。为了评估大语言模型对噪声或扰动的稳定度，现有的工作 对输入进行对抗攻击处理（例如符号替换），然后根据输出结果的变化评估大语言模型的稳定性。实验表明大语言模型在各种任务中比小型语言模型更稳定，但也会遇到一些新的相关问题，例如稳定度的不一致性和提示词敏感。具体来说，对于具有相同含义而表达方式不同的输入，大语言模型往往会提供不同的答案，甚至与自身生成的内容相矛盾 。这样的问题也会导致在使用不同提示词评估稳定性时产生不一致的结果，使稳定性分析的评估结果本身不太可靠。

**专才：**由于大语言模型已经在大规模语料库上进行了预训练，它们可以从预训练数据中获取丰富的知识。因此，大语言模型可以被用作特定领域的专家。最近的研究广泛探索了将大语言模型用于解决特定领域任务的应用，并评估了大语言模型的适应能力。通常，这些研究收集或构建特定领域的数据集，使用上下文学习来评估大语言模型的性能。由于我们的重点不是覆盖所有可能的应用领域，因此我们简要讨论了三个受到研究界广泛关注的代表性领域，即医疗、教育和法律。

- 医疗是一个与人类生命密切相关的重要应用领域。自ChatGPT 问世以来，一系列研究已经将 ChatGPT 或其他大语言模型应用于医疗领域。大语言模型能够处理各种医疗保健任务，例如生物信息提取 、医疗咨询  和报告简化 ，甚至可以通过为专业医生设计的医疗执照考试 。然而，大语言模型可能会制造医学错误信息 ，例如错误解释医学术语并提供与医学指南不一致的建议。此外，上传患者健康信息也会引起隐私问题 。

- 教育也是一个重要的应用领域。已有研究发现，大语言模型可以在数学、物理、计算机科学等科目的标准化测试中达到学生级别的表现 ，这些测试包括选择题和开放式问题。此外，实验表明大语言模型可以作为写作或阅读助手 。最近的一项研究  表明，ChatGPT可以生成在不同学科之间逻辑一致并且平衡深度和广度的答案。另一项定量分析  表明，在某些计算机安全领域的课程中，利用 ChatGPT 的学生表现比使用其他方法的学生的平均表现更好（例如保留或完善大语言模型结果作为自己的答案）。然而，大语言模型的普及也引发了关于如何合理使用这样的智能助手的担忧（例如如何避免作弊行为）。

- 法律是一个建立在专业知识之上的专业领域。最近的一些研究已经应用大语言模型来解决各种法律任务，例如法律文件分析 、法律判决预测  和法律文件撰写  。最近的一项研究  发现，大语言模型具有强大的法律解释和推理能力。此外，最新的 GPT-4 模型在模拟律师考试中取得了相当于人类考生前 10% 的成绩。然而，大语言模型在法律领域的使用也引发了关于法律挑战的担忧，包括版权问题 、个人信息泄露  以及偏见和歧视 。

在上述工作外，一些工作还从其他角度分析了大语言模型的能力。例如，一些工作研究了 LLMs 的类人特征，如自我意识、心理理论（Theory of Mind， ToM）和情感计算等方面的特征 。特别地，针对两个经典的虚假信念任务进行的 ToM 的实验表明，GPT-3.5 系列模型在 ToM 任务中的表现与 9 岁儿童相当，因此推测大语言模型可能具有类似ToM 能力 。此外，另一些工作调查了目前大语言模型的评估设置的公平性和准确性 ，例如，大规模的预训练数据可能包含测试集中的数据。

## 大模型的应用

众所周知，大模型的幻觉问题短时间难以解决，因此保证大模型在应用中的正确性和可靠性成为一个技术难题。此 外，大模型还有知识难以更新、经常无法正确处理数学逻辑 推理等问题，这些都制约了大模型的应用。 业界逐渐认识到使用单一大模型无法解决上述所有问 题，于是尝试使用多个辅助模型、外部知识库、搜索引擎、 专业工具等多种手段协同解决大模型实用问题，这些手段最 终形成了 Agent 技术。目前，业界普遍认为 Agent 是大模型 应用技术的发展方向

**AIGC应用的5个层级**  
|层级|AI应用|描述|示例|
|---|---|---|---|
|L1|Tool（工具）|人类完成所有工作，没有任何明显的 AI 辅助|Excel、Photoshop、MATLAB 和 AutoCAD 等绝大多数应用|
|L2|Chatbot（聊天机器人）|人类直接完成绝大部分工作。人类向 AI 询问，了解信息。AI 提供信息和建议但不直接处理工作|初代 ChatGPT|
|L3|Copilot（协同）|人类和 AI 共同工作，工作量相当。AI 根据人类要求完成工作初稿，人类进行后期校正、修改和调整，并最终确认|GitHub Copilot, Microsoft Copilot|
|L4|Agent（智能体）|AI 完成绝大部分工作，人类负责设定目标、提供资源和监督结果，以及最终决策。AI 完成任务拆分、工具选择、进度控制，实现目标后自主结束工作|AutoGPT, BabyAGI, MetaGPT|
|L5|Intelligence（智能）|完全无需人类监督，AI 自主拆解目标、寻找资源，选择并使用工具，完成全部工作，人类只需给出初始目标|类冯·诺伊曼机器人或者……人？|

### Agent技术

Agent并非单一技术，而是一个框架，将 大模型与专家模型、搜索引擎、知识库、工具等众多组件集 成在一起，通过组件之间的协作，共同完成用户指定的 任务。 大模型作为Agent核心组件，需要理解用户意图、拆分 任务、流程控制、汇总信息，并生成结果后返回给客户。例 如，对于专业性问题，如代码生成，大模型可以根据用户请 求生成 Prompt 与代码模型的交互，并将代码模型生成结果 反馈给用户；对于信息查询类问题，大模型根据用户提出的 问题转化为Query，并浏览搜索引擎返回的页面链接，再将 相关页面的信息总结提炼后返回给客户；对于数学计算等问 题，则可以将问题转化为应用程序编程接口 （API），调用 外部工具完成问题求解。 相对于传统的软件，Agent技术的本质是在控制面用大 模型替代固定的程序，从而可以处理新的场景，极大地提升 系统灵活性。Agent是智能化时代的软件，是软件发展的下 一形态。

###  RAG

在对于需要精确、实时、涉及领域专业知识的任务中， 大模型所面临的幻觉频出、信息过时、专业领域深度知识缺 乏以及推理能力弱等痛点，成为亟待解决的问题。 为应对上述挑战，RAG技术应时而生，它是Agent的一 项关键技术。其核心思想是在生成响应之前，通过信息检索 的技术，先从外部数据库中检索出和用户问题相关的信息， 然后结合这些信息，LLM生成结果。RAG技术主要包括3个 基本步骤：1）索引。索引阶段是构建RAG的准备步骤，类 似于 ML 中的数据清理和预处理步骤。通常，索引阶段包 括：收集数据、数据分块、向量嵌入和向量数据库存储。2） 检索。检索阶段是构建RAG的主要步骤，由查询向量嵌入 和相似度检索组成。3）生成。生成阶段由提示工程构成。 RAG 是一项前景广阔的新兴技术，有效提升了大语言 模型的生成内容准确率和时效性。RAG技术正在快速发展， 不断出现更优秀的应用，如ChatPDF、Lepton Search等应用， RAG为未来的通用人工智能提供更大的可能性。

### 插件技术

插件技术允许大模型与外部应用协作，例如OpenAI的 ChatGPT有数千个插件，从而大幅扩展了大模型的能力和应 用领域。

CodeInterpreter 使得数据分析变得更加简单，通过与用 户的对话就可以处理庞大的数据。CodeInterpreter 在本质上 是将大语言模型生成的代码放到一个安全的环境中执行，这 个环境通常被称为沙盒。在这个沙盒中，开发者可以提前配 置所需的依赖库和环境变量，以确保代码能够正常运行。 CodeInterpreter的主要功能是执行由大语言模型生成的代码， 并返回结果。

Function Calling可以为B端用户开发的APP提供强大的 功能，改变交互方式，从图形用户界面 （GUI） 向自然用户 界面（NUI）、语音用户界面（VUI）转变，让客户有更自然 的体验。Function Calling的关键技术点是大模型的函数选择 能力、函数调用能力、结果解释能力、异常处理能力。

Threading 则提供了持久保存且无限长的上下文，帮助 用户建立起更全面的客户画像，让客户使用APP时更加得心 应手。Threading 的关键技术点主要包括更长的上下文理解 能力以及向量数据库中检索、总结能力。

## 总结

LLM 的四个重要方面，即预训练、适配微调、应用和评估。针对每个方面，我们重点介绍了对 LLM 成功至关重要的技术或发现。此外，我们还总结了开发 LLM 的可用资源，并讨论了实现 LLM 的重要技术，以便复现 LLM。这篇综述试图涵盖关于 LLM 的最新文献，并为研究人员和工程师提供一份有关这个主题的优质参考资料。接下来，我们总结了本文的讨论，并在以下方面介绍了 LLM 的挑战和未来方向。

**理论与原理：**对于大语言模型（LLM)的基本工作机制，最大的谜题之一是其如何通过非常大 深的神经网络分配、组织和利用信息。揭示建立 LLM 能力基础的基本原则或要素非常重要。具体来说，扩展规模似乎在提高 LLM 的能力方面起着重要作用 。已有工作显示，当语言模型的参数增加

到某个临界规模（例如 100 亿）时，会以一种意想不到的方式（突然性能飞跃）涌现出一些能力 ，通常包括上下文学习、指令跟随和逐步推理。这些涌现能力既令人着迷又令人困惑：何时和如何它们被 LLM 获得尚不清楚。最近的研究要么进行广泛的实验来调查涌现能力的影响和这些能力的贡献因素 ，要么用现有的理论框架解释一些具体能力 。一个富有洞察力的技术博客也以 GPT 系列模型为目标，专门讨论了这个话题 。然而，更多能理解、描述和解释 LLM 的能力或行为的正式理论和原理仍然缺失。由于涌现能力与自然界的相变具有十分相似的类比关系 ，跨学科理论或原则（例如，LLM 是否可以被视为某种复杂系统）可能对解释和理解 LLM 的行为有用。这些基本问题值得研究界探讨，   对于开发下一代 LLM 至关重要。

**模型架构：**堆叠的多头自注意力层组成的 Transformer，由于其可扩展性和有效性，已成为构建大语言模型（LLM）的基本架构。已有方法已经提出了各种策略来提高该架构的性能，如神经网络配置和可扩展的并行训练（请参阅第 4.2.2节的讨论）。为了提高模型容量（例如多轮对话能力），现有的 LLM通常维持一个较长的上下文窗口，例如 GPT-4-32k 的上下文长度达到了 32，768 个词。因此，减少标准自注意力机制所带来的时间复杂度（原始为二次代价）是一个实际应用时重要的考虑因素。研究如何构建 LLM 中更高效的 Transformer 变体十分重要 ，例如 GPT-3 中已经使用了稀疏注意力 。此外，灾难性遗忘一直是神经网络的长期挑战，其对 LLM 也有负面影响。在使用新数据调整 LLM 时，原先学到的知识可能会受到损害，例如根据某些特定任务对 LLM 进行微调将影响 LLM 的通用能力。当 LLM 与人类价值观保持一致时（称为对齐税 ），也会出现类似情况。因此，有必要考虑将现有架构扩展到更具灵活性的机制或模块，以有效支持数据更新和任务专用化。

**模型训练：**在实践中，由于巨大的计算消耗和对数据质量和训练技巧的敏感性 ，预训练功能强大的大语言模型非常困难。因此，开发更系统、经济的预训练方法以优化 LLM变得尤为重要，同时考虑到模型有效性、效率优化和训练稳定性等因素。我们应该开发更多的模型检查或性能诊断方法（例如 GPT-4 中的可预测扩展 ），以便在训练过程中及   发现异常问题。此外，还需要更灵活的硬件支持或资源调度机制，以便更好地组织和利用计算集群中的资源。由于从头开始预训练 LLM 的成本非常高，因此设计适合的机制在公开可用的模型检查点基础上不断预训练或微调 LLM 是非常重要的（例如 LLaMA  和 Flan-T5 )。为此，需要解决许多技术问题，例如灾难性遗忘和任务专门化。然而，迄今为止，仍缺乏具有完整预处理和训练日志的 LLM 开源模型检查点（例如准备预训练数据的脚本）以进行复现。我们相信，在开源模型中报告更多技术细节对于 LLM 研究将具有很大价值。此外，开发更多有效引导模型能力的改进调优策略也很重要。

**模型应用：**由于在实际应用中微调的成本非常高，提示已成为使用大型语言模型的主要方法。通过将任务描述和示例合并到提示中，上下文学习（一种特殊形式的提示）赋予了 LLM在新任务上表现良好的能力，甚至在某些情况下胜过全数据微调模型。此外，为了提高复杂推理能力，已有工作提出了先进的提示技术，例如链式思维（CoT）策略，它将中间推理步骤包含在提示中。然而，现有的提示方法仍然存在以下几个不足之处。首先，提示设计时需要大量人力。自动生成有效提示以解决各种任务将非常有用。其次，一些复杂任务（例如形式证明和数值计算）需要特定的知识或逻辑规则，这些规则可能无法用自然语言很好地表达或通过示例演示。因此，开发更具信息量和灵活性的任务格式化方法以进行提示非常重要19。第三，现有的提示策略主要关注单轮性能。开发交互式提示机制（例如通过自然语言对话）来解决复杂任务是有用的，这已经被 ChatGPT 证明非常有用。

**安全与对齐：**尽管具有强大的能力，大型语言模型（LLM）与小型语言模型在安全方面面临类似的挑战。例如 LLM 倾向于产生幻觉 ，这些文本看似合理，但可能在事实上是错误的。更糟糕的是，LLM 可能被有意的指令激发以产生有害的、有偏见的或有毒的文本以用于恶意系统，从而导致潜在的滥用风险 。为了详细讨论 LLM 的安全问题（例如隐私、过度依赖、虚假信息和影响操作），读者可以参考 GPT-3/4 技术报告 。作为避免这些问题的主要方法，可通过将人类纳入训练循环来开发良好对齐的 LLM，并使用基于人类反馈的强化学习（RLHF）。为了提高模型安全性，在 RLHF 过程中包含安全相关的提示也非常重要，正如 GPT-4所示 。然而，RLHF 严重依赖专业标注者的高质量人类反馈数据，这使得它在实践中难以适当实施。因此，有必要改进 RLHF 框架以减少人类标注者的工作量，并寻求更高效的、具有保证数据质量的标注方法，例如 LLM 可以用于辅助标注工作。最近，红队方法  已经被采用来提高 LLM 的模型安全性，该方法利用收集到的对抗性提示来优化 LLM（即避免红队攻击）。此外，通过聊天获取人类反馈并直接将其用于自我改进的适当学习机制也具有重要意义。

**应用与生态：**随着 LLMs 在解决各种任务方面表现出强大的能力，它们可以应用于广泛的现实世界应用（即遵循特定任务的自然语言指令）。作为一个显著的进步，ChatGPT 可能已经改变了人类获取信息的方式，这已在 “New Bing” 的发布中得到实现。在不远的将来，可以预见到 LLM 将对信息检索技术产生重大影响，包括搜索引擎和推荐系统。此外，智能信息助手的开发和使用将随着 LLM 的技术升级得到高度推广。从更广泛的范围来看，这波技术创新浪潮将产生一个以 LLM 为支持的应用生态系统（例如 ChatGPT 对插件的支持），这与人类生活息息相关。最后，LLM 的兴起为人工通用智能（AGI）的探索提供了启示。有望开发出比以往更智能的系统（可能具有多模态信号）。然而，在这一发展过程中，AI 安全应成为主要关注之一，即 AI 对人类产生好处而非坏处 。

CoderWillYan/Learn-LLM-Easily

简介

发行版

贡献者

近期动态

CoderWillYan/Learn-LLM-Easily .gitee-modal { width: 500px !important; }

简介

发行版

贡献者

近期动态

搜索帮助

CoderWillYan/Learn-LLM-Easily