How large language models work — Learn by Listening

自注意力机制是大语言模型的核心组件之一。简单来说，它允许模型在处理一句话时，不仅关注当前词，还能同时考虑到这句话里的其他词，以此来更好地理解整个句子的意思。比如，在句子“我把苹果放在桌子上,然后它滚了下来。”中，自注意力机制能够识别出这里的“它”指的是前面提到的“苹果”，而不是桌子。这是因为该机制通过计算每个词与其他词之间的关联程度，从而确定哪些部分对于理解整体意义更为重要。这样的设计使得大语言模型能够在生成或理解文本时，更加准确地把握上下文信息，进而提高其性能。

在大语言模型进行下一个词预测时，除了自注意力机制之外，还有一个非常重要的机制，那就是位置编码。位置编码的作用在于为模型提供关于词语在句子中相对位置的信息。因为自注意力机制本身并不直接考虑词语出现的顺序，而是在计算过程中将所有输入看作是无序集合。然而，在自然语言处理任务中，词语的位置信息是非常关键的，它影响着语义的理解。例如，“猫追老鼠”与“老鼠追猫”的意思完全不同。通过引入位置编码，每个词嵌入向量不仅包含了词本身的含义，还融合了其所在位置的信息。这样一来，即使是在处理长距离依赖关系时，模型也能够准确捕捉到不同词汇之间的联系，从而更好地完成下一个词预测的任务。

在大语言模型里，尤其是基于Transformer架构的模型中，处理文本时保持词序非常重要。这是因为自然语言本质上是有序列性的，即句子中词语的排列顺序对意义有着决定性的影响。然而，原始的自注意力机制并不能直接捕捉到输入序列中元素的位置信息，这就需要引入一种额外的技术来解决这个问题——位置编码。位置编码是一种向量表示方法，它为每个位置上的词添加了一个独特的标识符，使得即使在没有明确的时间或空间线索的情况下，模型也能感知到序列内各个元素之间的相对距离。具体来说，在将数据送入神经网络之前，我们会把每一个词的嵌入与对应的位置编码相加，从而让最终的输入不仅携带了词汇本身的信息，还包含了其所在位置的相关信息。这样一来，当进行自我注意计算时，模型就能够利用这些附加的位置信息，更好地理解和生成符合语法规则及逻辑连贯性的文本。

在探讨大语言模型如何工作时，我们不可避免地会遇到两个概念：幻觉与知识边界。幻觉指的是模型生成的内容看似合理但实际上并不准确或根本不存在的现象；而知识边界则指模型对于特定领域信息掌握的局限性。这两个问题背后的一个关键因素是数据分布。训练过程中使用的语料库虽然庞大，但其覆盖范围终究有限，这意味着某些罕见事件或者专业领域的细节可能没有得到充分表示。此外，模型通过学习到的概率模式来预测下一个词，当面对未曾见过的数据组合时，它可能会基于已有的知识进行推测，这种推测有时会导致不准确的信息出现。换句话说，如果输入超出了训练数据所涵盖的主题或情境，模型就更有可能产生错误的答案。因此，在使用大语言模型时，了解其背后的这些限制是非常重要的。

当大语言模型的参数数量突破百亿级别时，它们开始展示出一些令人惊讶的新能力。这些新特性包括但不限于推理、创造和理解等高级认知功能。这种现象被称为能力涌现。简单来说，就像单个水分子没有湿润性，但大量水分子聚集在一起就能形成液体并表现出湿润性一样，单个神经元不会思考，但由大量神经元构成的网络却能产生复杂的思维过程。对于大语言模型而言，在较小规模下，其主要功能是模式匹配和记忆检索；而一旦参数量跨越某个临界点，模型就突然获得了上述提到的那些更高级别的智能表现。