1. 理解生成式模型与大语言模型

1.1 什么是生式模型？

1.2 什么是大语言模型？

2. 大模型应用实例

3. Transformer 架构解析

3.1 神经网络

    神经网络是机器学习的一个分支，通过机器去模拟生物大脑的结构和功能。

     基本wx +b的形式，其中

• x1和x2表示输入向量
• W1和w2为权重，几个输入则意味着有几个权重，即每个输入都被赋予一个权重
• b为偏置bias，用于调整神经元的激活阈值，使模型能更好地拟合数据。
• g（z） 为激活函数
• a为输出

    如果只是上面这样一说，估计以前没接触过的十有八九又必定迷糊了。

    举个例子，这周末北京有一漫展，那去不去呢？决定你是否去有二个因素，这二个因素可以对应二个输入，分别用x1、x2表示。此外，这二个因素对做决策的影响程度不一样，各自的影响程度用权重w1、W2表示。一般来说，

天气会非常影响你去不去，天气好的前提的前提下 即便没人陪同都可忍受。所以，我们可以如下表示：

        X1天气是否好。X1= 1 晴天，X1=0雨天。天气因素的权重=7

        x2 是否有人陪你同去。x2 = 1 有人陪你同去，J2=0沒人陪你同去。是否有人陪同的权重 =3。

    这样，咱们的决策模型便建立起来了：g（z）= g（X1*W1+X2*W2+b），g表示激活函数，这里的b可以理解成为更好达到目标而做调整的偏置项。

3.2 RNN循环神经网络

     神经网络都只能单独的取处理一个个的输入，前一个输入和后一个输入是完全没有关系的。但是，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。

    生活中，我们经常会遇到或者使用一些时序信号，比如自然语言语音，自然语言文本。以自然语言文本为例，完整的一句话中各个字符之间是有时序关系的，各个字符顺序的调换有可能变成语义完全不同的两句话，就像下面这个句子：

        张三因为偷窃被捕，李四作为法官判了张三10年

        李四因为偷窃被捕，张三作为法官判了张三10年

    从以上这个例子可以看出，名字的调换造成了完全不同的后果，可见自然语言的时序性非常重要。

    RNN是什么呢？

    循环神经网络（Recurrent Neural Network, RNN）是一个非常经典的面向序列的模型，可以对自然语言句子或是其他时序信号进行建模。进一步讲，它只有一个物理RNN单元，但是这个RNN单元可以按照时间步骤进行展开，在每个时间步骤接收当前时间步的输入和上一个时间步的输出，然后进行计算得出本时间步的输出。

     我们现在这样来理解，如果把上面有W的那个带箭头的圈去掉，它就变成了最普通的全连接神经网络。×是一个向量，它表示输入层的值（这里面没有画出来表示神经元节点的圆圈）；s是一个量，它表示隐藏层的值（这里隐

藏层面画了一个节点，你也可以想象这一层其实是多个节点，节点数与向量s的维度相同）；

    U是输入层到隐藏层的权重矩阵，o也是一个向量，它表示输出层的值；V是隐藏层到输出层的权重矩阵。那么，现在我们来看看W是什么。循环神经网络的隐藏层的值s不仅仅取决于当前这次的输入X，还取决于上一次隐藏层的值s。权重矩阵 W就是隐藏层上一次的值作为这一次的输入的权重。

    现在看上去就比较清楚了，这个网络在t时刻接收到输入 xt 之后，隐藏层的值是 st，输出值是 ot。关键一点是，st 的值不仅仅取决于 xt，还取决于 st-1。我们可以用下面的公式来表示循环神经网络的计算方法：

    用公式表示如下：

3.3  为什么会⽤到Transformer？

   实际上是为了解决传统AI领域的⼀些痛点问题

   Transformer出现以前，NLP领域应⽤基本都是以RNN或LSTM循环处理完成，⼀个token⼀个token输⼊到模型中。模型本⾝是⼀种顺序结构，包含token在序列中的位置信息。但是存在了⼀些问题：

1. 会出现梯度消失现象，⽆法⽀持⻓时间序列。越靠后的token对结果的影响越⼤。
2. 只能利⽤上⽂信息，⽆法获取下⽂信息。
3. 循环⽹络逐个token输⼊，也就是句⼦有多⻓就要循环多少遍，计算的效率低。

   ⽽Transformer的出现得以解决了上述的⼀系列问题。

3.4 什么是Transformer？

   Transformer是⼀种深度学习模型架构，最初由Vaswani等⼈在2017年提出。它是⼀种基于注意⼒机制 的模型，⽤于处理序列到序列的任务，如机器翻译、语⾔建模等。Transformer模型的核⼼思想是完全 基于⾃注意⼒机制（self-attention mechanism），它能够在输⼊序列中捕捉各个位置之间的依赖关系，从⽽在处理⻓序列时具有更好的性能。Transformer通过堆叠多个编码器和解码器层来构建整个模 型，每个层都包含多头注意⼒机制和前馈神经⽹络。Transformer架构的出现对于⾃然语⾔处理领域有着⾰命性的影响，成为了许多任务的标准模型。

   你可以简单理解为它是⼀个⿊盒⼦，当我们在做⽂本翻译任务时，我输⼊进去⼀个中⽂，经过这个⿊ 盒⼦之后，输出来翻译过后的英⽂。

3.5 Transformer架构宏观解析

    ⾸先将Transformer可以看成是⼀个⿊箱操作的序列到序列（seq2seq）模型，输⼊是单词/字⺟/图像特征序列，输出是另外⼀个序列。⼀个训练好的Transformer模型如下图所⽰：

   在机器翻译中，就是输⼊⼀种语⾔(⼀连串单词)，经Transformer输出另⼀种语⾔(⼀连串单词)。

拆开这个⿊箱，可以看到模型本质就是⼀个Encoder-Decoder结构，由编码组件、解码组件和它们之间的连接组成。

   每个Encoders中分别由6层Encoder组成，⽽每个Decoders中同样也是由6层Decoder组成。

    进⼀步展开ENCODER与DECODER

   Transfoemer全貌

   Transformer模型由编码器（Encoder）和解码器（Decoder）两部分组成。它们虽然都是由各种注意⼒机制层堆叠⽽成且共享相似的结构，但在处理输⼊和输出信息时使⽤了不同的注意⼒机制。

   1. 编码器中的多头⾃注意⼒机制

       在Transformer的编码器部分，每⼀层使⽤的是多头⾃注意⼒机制（Multi-Head Self-Attention）。编码器的每个输⼊词都与序列中的其他词进⾏交互，从⽽形成对整个序列的全⾯理解。具体地，编码器中的注意⼒机制允许每个词对整个输⼊序列进⾏加权平均，帮助模型聚焦于不同的上下⽂信息。

   2. 解码器中的掩码多头⾃注意⼒机制

       解码器的第⼀个注意⼒层使⽤的是掩码多头⾃注意⼒机制（Masked Multi-Head Self-Attention）。与编码器不同，解码器的⽬的是⽣成输出序列，因此，在⽣成当前时刻的输出时，它只能访问已经⽣成 的部分，⽽不能“看到”未来的词。为了实现这⼀点，我们在解码器的⾃注意⼒机制中引⼊了掩码， 确保每个位置的输出只能与当前及之前的位置进⾏交互。掩码操作确保了每个时间步的⽣成过程只依赖于当前及之前的输出，⽽不能访问后续的⽣成部分，这样就避免了“未来信息泄露”。

   3. 解码器中的交叉注意⼒机制（Cross-Attention）

       在解码器的第⼆个多头注意⼒层中，Transformer模型引⼊了交叉注意⼒机制（Cross-Attention）。 与⾃注意⼒不同，交叉注意⼒机制的查询（Query）来⾃解码器的前⼀层输出，⽽键（Key）和值 （Value）则来⾃编码器的输出。这样，解码器在⽣成每个词时，能够参考整个输⼊序列的表⽰，从⽽确保⽣成的输出与输⼊序列的相关性。解码器的查询来⾃前⼀层输出，⽽键和值来⾃编码器的输出。 这种设计允许解码器在⽣成过程中关注输⼊序列的相关部分，从⽽更好地捕捉输⼊和输出之间的依赖关系。

   编码器由多个相同的层组成，每层包含两个⼦层：

   1. 多头⾃注意⼒机制（Multi-Head Self-Attention）：允许模型同时关注输⼊序列的不同位置。

   2. 基于位置的前馈⽹络（Position-wise Feed-Forward Networks）：在每个位置应⽤相同的全连接⽹络。通过线性变换，先将数据映射到⾼纬度的空间再映射到低纬度的空间，提取了更深层次的 特征

   解码器同样由多个相似的层构成，每层有三个⼦层：

       1. 多头⾃注意⼒机制：与编码器中的相似，但加⼊了掩码（Masking），防⽌未来信息的泄露。

       2. 编码器-解码器注意⼒机制：允许解码器关注编码器的输出。

       3. 基于位置的前馈⽹络。

       4. 残差链接和层归⼀化：

           a. 残差连接：就是把⽹络的输⼊和输出相加，从⽽解决深层⽹络的梯度消失/爆炸和训练退化问题。

           b. 层归⼀化：通过对单个样本的激活值进⾏归⼀化，提升训练稳定性和加速收敛。

4. 大模型的运行机制