LLM

Large Language Model,大语言模型,简称大模型。

市面上的大模型基本上都是基于 Transformer 架构设计的。

Token

大模型处理数据的最基本单元。

通过 Tokenizer 来进行编码(将输入切分成 Token,然后映射成 Token ID)和解码(将 Token ID 映射成 Token)。

1 个 Tolen,约等于 0.75 个单词,约等于 1.5~2 个汉字。

输入的Token通常比输出Token要贵好几倍,看不同厂商。

Context

上下文,大模型每次处理任务时接收到的信息总和(对话历史,用户问题,输出的 Token,工具列表,System Prompt等 )。

大模型的临时记忆体。

Context Window

上下文窗口,大模型的 Context 最多能够存储的 Token 数量。

通过 RAG 可以减少文件无关信息对上下文窗口占用。

Prompt

提示词。

User Prompt 用户给大模型下达的具体指令或问题。

System Prompt 系统给大模型下达的具体指令或问题。

现在的大部分的产品,不仅仅是个LLM了,基本都进化成 Agent 了。进化的核心就是因为 prompt,在 Agent 上 prompt 其实更多是定义 Agent 本身的能力以及约束,这部分就是system prompt,用户输入你好,背后 Agent 会携带很多东西给 LLM,所有这些 Agent 提交给 LLM 的内容组合起来就是输入的 Token 了。

Tool

大模型用来感知和影响外部环境的函数(进行各种实际的操作)。LLM 通过平台来对 Tool 进行调用。

内置工具,像openclaw就只有4个内置工具,但是可以做一切的事情 read write edit bash。外置工具,可以自己写,也可以用别人做好的。

MCP

Model Context Protocol,模型上下文协议。

每个平台调用工具的接入方式不一样,因此为了方便,统一了工具接入格式的标准协议,API规范。

可以理解为 Agent 的外包,将这一个领域的所有工具都外包给了这个 mcp。

Agent

能自主规划和调用工具,直至解决用户问题的程序。

Agent Skill

给 Agent 看的说明文档,来预定义一个符合自己需求的 Agent。