1. 什么是LLM？

   ⼤模型，全称「⼤语⾔模型」，英⽂「Large Language Model」，缩写「LLM」。是⼀种基于机器学 习和⾃然语⾔处理技术的模型，它通过对⼤量的⽂本数据进⾏训练，来学习服务⼈类语⾔理解和⽣成 的能⼒。

   下⾯是来⾃OpenCompass的⼤模型评测榜单，该榜单的性能指标综合了多项评测结果，包括MMLU， C-EVAL，CMMLU等。

   网址：  https://rank.opencompass.org.cn/leaderboard/llm

• 基座⼤模型（Foundation Model）

        这是⼀个通⽤的⼤型语⾔模型（LLM），如 GPT、LLaMA、Qwen 等，它们经过⼤规模数据的预训练，具备强⼤的语⾔理解和⽣成能⼒。

        这些模型本⾝是通⽤的，未必针对某个具体任务进⾏优化，需要通过微调、提⽰⼯程（PromptEngineering）或 RAG（检索增强⽣成）等⽅式进⾏定制化。典型的基座⼤模型会提供 API 供外部应⽤调⽤，例如 OpenAI GPT、Claude、Gemini 等。

• 对话产品（Conversational Product）

        这是基于基座⼤模型开发的具体应⽤，⽐如智能客服、AI 助⼿、问答系统等。

        对话产品通常会围绕某个特定的业务场景（如电商客服、医疗咨询、⾦融分析）进⾏优化，不仅仅是调⽤⼤模型⽣成⽂本，⽽是结合业务逻辑、知识库、意图识别、多轮对话管理等功能。

        这些产品可能会对基座⼤模型进⾏微调，或者通过插件、⼯具调⽤、RAG 等⽅式增强模型的能⼒，使其更加符合产品需求。

1.1 通⽤⼈⼯智能的定义

    简称AGI，指的是⼀种智能，能够理解、学习和应⽤知识和技能，在任何⼈类智能能够执⾏的⼴泛任务上表现得和⼈类⼀样好，甚⾄更好。AGI是⼀个未来的⽬标，⽬前尚未实现，它需要能够处理极其⼴泛的问题和环境，具有很⾼的适应性、⾃主性和创造性。

1.2 ⼤模型与通⽤⼈⼯智能的联系

• 研究基础：当前的⼤模型是通向AGI的⼀种可能的研究途径。通过开发和训练⼤模型，研究者可以 探索智能⾏为的各种⽅⾯，包括语⾔理解、问题解决和学习能⼒。例如，通过改进算法、增加模型的泛化能⼒，以及探索更有效的学习⽅法，⼤模型可以逐步接近AGI的特性。
• 技术搭桥：⼤模型在处理复杂任务时展⽰的能⼒可能为发展通⽤⼈⼯智能提供技术基础。
• 实验平台：⼤模型提供了⼀个实验平台，研究者可以在这些平台上测试不同的理论和⽅法，看它们 在实际应⽤中的表现如何，这对于理解和创建AGI⾄关重要。

2. 大语言模型的基础单位Token

• Token其实就是文本的片段，是大模型计算长度的单位，对于汉字，可以是字、词、甚至是半个字或者三分之一个字。
• 对于一个仅支持英语的模型，它的词表可以只有a-z26个字母，加上逗号句号空格等标点符号，Token 数可以非常少。
• 汉字字词更多，语义更复杂多样，所以包含的 Token 数会更多，很多语言模型都支持多语言，包含各种符号、单词、单词片段等，所以往往会有几十万个 Token 甚至更多。

3. 大语言模型的工作流程

4. 大语言模型预测Token的机制

没有找到怎么办？在token 词表

5. LLM在企业中的价值与市场需求

• 通用人工智能（AGI）将是AI 的终极形态，几乎已成为业界共识。类比之，构建智能体 Agent则是 AI工程应用当下的“终极形态〞。
• 大模型出现后，Al Agents衍生出一种新的架构模式，将最重要的规划/决策部分或全部交由LLM完成。

5.1 Agent/LLM

5.2 应用场景

6. 大语言模型的局限性

• 无法获取实时更新的信息，

            提问：2024年无锡马拉松的冠军是谁？

            ChatGPT底层的GPT模型虽然更新的频率飞快，每次更新都会新增训练的内容，但是训练高昂的费用与时间，无法实时将信息投喂给模型进行训练。

• 无法基于企业内部信息进行回答

            提问：广东合虎餐饮有限公司有什么产品？

• 默认无法与外部环境进行交互，

            提问：帮我看下慕课网上关于LangChain 的课程有哪些？

• 数学能力有限，处理复杂数学问题时，结果往往是错的

            提问：方程有没有解x^3+15*x 2-25*x+0.5*x^0.5=105.4  请直接告诉我答案是什么？

• 自信地将虚假或者错误的信息呈现给用户（幻觉）

            如果不核实，很难发现错误，提问：请使用LangChain+Flask开发一个简单的机器人聊天接口。

• 处理长上下文，复杂上下文时不连贯

            例如向ChatGPT提问：超过模型能处理的上下文，亦或者对话次数过多时，会出现无法响应的服务器错误。

7. 专有名词及解释

    7.1 AIGC

• AIGC（Al-Generated Content） 通过对已有数据进行学习和模式识别，以适当的泛化能力生成相关内容的技术。
• AIGC生成的内容很多，涵盖文字、图像、视频、音频、游戏、虚拟人等等。
• AIGC是AI大模型，而ChatGPT则是AIGC在聊天对话场景的一个具体应用。

    7.2 AGI-人工通用智能

• AGI（Artificial General Intelligence）全称人工通用智能，是指能够理解、学习和应用广泛的知识和技能的人工智能系统。
• 以人类角度来看，AGl就是一种能够“思考”和“理解”各种问题的智能生命体，就像人类一样。

    7.3 Agent - 智能代理

• Agent（智能代理）一个能够自主感知环境并采取行动的计算实体，其目标是最大化某种预定义的效用或实现特定的目标。
• AGI可以看成是一种非常高级的Agent，具备广泛适应性和
• 自我学习能力，Agent也是现阶段AGI的最佳实现方式。

    7.4 Prompt提示词

• Prompt是指给定的一段文本或问题，用于引导和启发人工智能模型生成相关的回答或内容。
• Prompt是目前人类与LLM大语言模型交互的核心方式。

    7.5 GPT-生成型预训练变换模型

• GPT （Generative Pre-trained Transformer）是一种基于深度学习的大型语言模型
• GPT模型最初由OpenAl开发，旨在通过训练模型预测下一个单词或字符来学习自然语言的统计规律。    

    7.6 Token-文本基础单元

        Token是指在自然语言处理和文本处理任务中，将文本分解成较小单元的基本单位。这些单元可以是单词、字符、子词或其他语言单位，具体取决于任务和处理方式。大语言模型中的上下文长度计算一般都是基于Token，而不是字符，例如GPT-4的16K上下文意味着传递的消息不能超过16K个Token。

    7.7 LoRA-插件式微调

        LORA（Low-Rank Adaptation of LLM）即插件式微调用于对大语言模型进行个性化的特定任务的定制。

        LORA通过将模型的权重矩阵分解成低秩的相似矩阵，降低了参数空间的复杂性，从而减少微调的计算成本和模型存储要求。

    7.8 矢量/向量数据库

        矢量数据库是一种用于存储矢量/向量数据的数据库。

        矢量数据库可以存储和管理大量的矢量数据，例如图像、视频、音频、文本等，同时提供高效检索功能。

    7.9 数据蒸馏

        数据蒸馏指将给定的原始大数据集浓缩并生成一个小型数据，使得在小数据集上训练出来的模型与原数据集上训练的模型相似。

        数据蒸馏在深度学习领域被广泛应用，可以帮助将复杂的模型转换成更轻量级的模型，提高模型的鲁棒性和泛化能力。

8. 大模型时代的人机交互范式

22