ChatGPT 实际上是如何工作的？
我们将深入探讨广受欢迎的人工智能聊天机器人 ChatGPT 的内部工作机制。如果你想了解它的生成式人工智能魔法是如何实现的，请继续阅读。
趋势快讯：
苹果宣布推出 Apple Intelligence
Nvidia 保持 AI 训练基准测试领先地位
苹果推出 iOS 18 升级版 iPhone
苹果推出私有云计算
Google、Wolfram Alpha 和 ChatGPT 都通过单行文本输入字段与用户交互，并提供文本结果。Google 返回搜索结果，包括网页和文章列表，以此提供查询相关的信息。Wolfram Alpha 通常提供与数学和数据分析相关的答案。
与之相比，ChatGPT 能根据用户问题的背景和意图生成答案。例如，虽然你不能要求 Google 写一个故事或让 Wolfram Alpha 编写代码，但 ChatGPT 可以胜任这些任务。
简而言之，Google 的强大之处在于庞大的数据库查询功能，而 Wolfram Alpha 擅长解析数据相关的问题并执行计算。ChatGPT 则擅长解析查询，并根据其训练数据生成完整答案，截止 2023 年 12 月，这些数据涵盖了全球大部分可数字化访问的信息。
本文将介绍 ChatGPT 是如何生成这些答案的。我们首先介绍 ChatGPT 的主要操作阶段，然后探讨其运作的核心 AI 架构组件。
ChatGPT 操作的两个主要阶段
让我们用 Google 来做类比。当你向 Google 提问时，它不会在你提问的一瞬间搜索整个互联网。相反，Google 会在其数据库中查找匹配的页面。Google 的操作包括两个主要阶段：爬取和数据收集阶段，以及用户交互/查找阶段。
大致来说，ChatGPT 的工作原理相似。数据收集阶段称为预训练，而用户响应阶段称为推断。生成式人工智能的魔力及其爆发性增长在于预训练工作的高度可扩展性，这得益于硬件技术和云计算的突破性创新。
预训练 AI 的工作原理
一般而言，AI 通过监督和非监督两种主要方法进行预训练。直到最近一代的生成式 AI 系统，大多数 AI 项目都使用了监督方法。
监督预训练
监督预训练是基于标记数据集训练模型的过程，每个输入都有对应的输出。例如，人工智能可以在客户服务对话数据集上进行训练，其中问题与客户服务代表的回复一一匹配。监督预训练中，人类训练师必须精心预测所有输入和输出，这不仅耗时，还受专业知识的限制。
非监督预训练
相比之下，ChatGPT 使用非监督预训练——这是一种改变游戏规则的方法。非监督预训练是在没有特定输出的情况下训练模型，使其能够学习输入数据中的潜在结构和模式。这种方法特别适用于语言建模，非监督预训练可以使模型理解自然语言的语法和语义，从而在对话环境中生成连贯的文本。
正因为如此，开发人员无需知道每个输入会产生的输出，只需将大量信息转入 ChatGPT 的预训练机制，这就是基于 Transformer 的语言建模。
Transformer 架构
Transformer 架构是一种处理自然语言数据的神经网络。它使用“自我注意力”来处理单词序列，评估序列中不同单词的重要性。Transformer 由多层构成，每层包含自注意力层和前馈层，这两个主要子层帮助 Transformer 学习和理解单词之间的关系。
在训练期间，Transformer 根据输入数据做出预测，并随着每次预测的结果，模型会更新和改进自身。这使得 Transformer 成为语言翻译和文本生成等任务的强大工具。
ChatGPT 的训练数据集
ChatGPT 基于 GPT-3（生成式预训练 Transformer 3）架构，并进一步优化用于对话用例。ChatGPT 的免费版本使用 GPT-3 训练数据，最近更新为更强大的 GPT-4。如果你每月支付 20 美元购买 ChatGPT Plus，你可以使用 GPT-4 数据集和 GPT-4o 数据集。
GPT-3 是在一个名为 WebText2 的数据集上训练的，包含超过 45 TB 的文本数据，这使得 ChatGPT 能够学习自然语言中的模式和关系。
此外，ChatGPT 还利用专门的数据集，如 Persona-Chat，来优化对话性能。该数据集包含两个人类参与者之间的对话，每个参与者都有指定的背景、兴趣和个性，这使 ChatGPT 能生成更个性化的响应。
人类在训练中的角色
即使是非监督预训练技术，也有证据表明在 ChatGPT 供公众使用前有人类的干预。例如，根据《时代》杂志的报道，肯尼亚的“数据标注员”帮助标记互联网内容，从而清洁训练数据。
自然语言处理
自然语言处理（NLP）使计算机能够理解和生成自然语言。NLP 技术用于许多应用，如情感分析、聊天机器人、语音识别和翻译。
对话管理
ChatGPT 使用强大的对话管理，这使它能进行多轮对话，提供个性化的回答。这不仅让用户体验更好，还能建立更多信任和互动。
运行 ChatGPT 所需的硬件
微软最近发布的视频展示了如何利用 Azure 创建支持 ChatGPT 所需的计算和存储基础设施。
常见问题
与传统聊天机器人相比，ChatGPT 有何不同？
传统聊天机器人基于预定义的规则工作，而 ChatGPT 通过生成式人工智能理解上下文和意图，提供独特的响应。
为什么非监督预训练被视为变革性技术？
非监督预训练允许 AI 从大量未标记数据中学习，使其生成多样化且上下文相关的响应。
ChatGPT 的局限性是什么？
ChatGPT 依赖于训练数据，有可能对最新主题缺乏了解，偶尔会生成不准确的答案，并可能暴露于数据中的偏见。
尽管已经写了 3,200 多字，这还是对 ChatGPT 工作机制的简要概述。希望你对这项技术有了更深入的了解，并认识到数据非监督处理的重要性。最后，通过向 ChatGPT 请求对这篇文章的总结，它的回应是：
“ChatGPT 就像 Google 和 Wolfram Alpha 的智慧表亲，可以做他们做不到的事情，如编写故事和代码模块。”
如果这没有让你感到稍微不安，那你就没有注意到。你觉得如何？你在使用 ChatGPT 吗？你对它的工作原理还有什么疑问？请在下面的评论中分享你的观点。
