第一章 为什么 AI 突然变聪明了1.1 AI 真的突然变聪明了吗如果你是在 2022 年底第一次接触 ChatGPT可能会有一种非常强烈的感觉AI 怎么突然变聪明了以前我们手机里的语音助手只能完成一些固定操作。例如打开微信它能听懂。但是帮我写一封向领导请假的邮件语气委婉一点。它几乎一定做不到。再比如。如果你问今天适合去拍日落吗以前的大多数 AI 往往会回答我没有理解你的意思。或者干脆搜索几条网页给你。但 ChatGPT 出现以后人们第一次发现它不仅能回答问题还能写代码写论文翻译几十种语言制定旅行计划编故事总结几百页文档帮程序员排查 Bug甚至还能陪人聊天。于是很多人开始认为AI 突然拥有了智慧。事实上并不是 AI 在一夜之间发生了质变。真正发生变化的是人类终于找到了一种能够充分利用海量数据和超大规模神经网络的方法。这种方法就是今天几乎所有聊天 AI 背后的核心技术大语言模型Large Language Model简称 LLM。1.2 ChatGPT 为什么震惊世界2022 年 11 月OpenAI 发布了 ChatGPT。很多技术其实都不是第一次出现。例如神经网络早在几十年前就已经提出。深度学习在 2012 年开始快速发展。Transformer 架构发表于 2017 年。GPT 系列模型在 ChatGPT 之前已经迭代了多个版本。真正改变世界的并不是某一个全新的算法而是这些技术第一次被组合成一个普通人都可以直接使用的产品。ChatGPT 做了一件以前几乎没有 AI 做到的事情它可以像人一样持续进行自然对话。注意这里的像人一样并不是说它拥有人的意识而是说它能够理解上下文能够连续回答几十轮问题能够根据你的要求不断修改答案能够完成各种以前需要不同软件才能完成的任务。例如以前如果你想完成下面这些事情翻译英文总结 PDF写 Python 程序写 Java 接口写 Excel 公式写演讲稿通常需要使用很多不同的软件。而现在一个聊天窗口就可以完成。于是人们第一次意识到原来语言可以成为一种统一的人机交互方式。1.3 什么是大语言模型很多人第一次听到大语言模型这个名字时会误以为是不是因为它会很多语言其实不是。这里的语言指的是人类用于表达信息的文本序列。而大主要体现在几个方面第一是模型参数规模巨大。传统机器学习模型可能只有几万个参数。早期神经网络可能拥有几百万参数。而现代的大语言模型通常拥有数十亿甚至数万亿个参数部分模型采用稀疏激活架构因此一次推理并不会使用全部参数。第二是训练数据巨大。训练一个现代大语言模型需要阅读海量文本例如公开网页图书学术论文开源代码技术文档多语言语料。这些数据通常以Token词元为单位进行统计总规模可达到数万亿 Token。第三是计算规模巨大。训练一次先进的大语言模型通常需要大量高性能 GPU 或其他 AI 加速器持续运行数周甚至数月。因此大模型的大不仅仅指模型本身还包括数据规模参数规模算力规模工程复杂度。1.4 为什么以前的 AI 不会聊天这个问题其实很有意思。并不是以前的人没有想到让 AI 聊天。而是以前的方法决定了它几乎不可能做到真正自由的对话。例如一个传统聊天机器人可能这样工作用户输入今天天气怎么样程序如果包含天气 ↓ 调用天气接口 ↓ 返回天气如果用户说今天适合穿什么程序员又要再写一套规则。如果用户继续问那下午会下雨吗又要继续增加新的规则。随着需求越来越多系统会变得越来越复杂。这种方式通常被称为基于规则Rule-based的系统。它非常擅长处理固定流程。但是几乎无法覆盖无限变化的人类语言。而大语言模型采用的是另一种完全不同的方法它不是提前写好每一种回答。而是在回答时根据当前上下文实时生成下一段文本。正因为如此它才能回答以前从来没有见过的问题。1.5 GPT 真正改变了什么很多人认为GPT 最大的突破是回答更准确了。其实更重要的变化是它把语言变成了一种通用接口。以前不同任务需要不同软件。现在很多任务都可以先转换成自然语言再交给模型处理。例如写 SQL帮我统计昨天订单数量。写代码用 Java 实现一个 Redis 分布式锁。写邮件写一封礼貌的催款邮件。总结会议总结下面这份会议纪要。这些任务表面上完全不同。但对于模型来说它们都是根据已有文本继续生成最合适的下一段文本。也正因为如此一个模型可以完成如此多不同类型的任务。1.6 总结:一句话理解 LLM读到这里你可能仍然会觉得一个模型怎么可能同时会写代码、写小说、翻译、聊天其实它们背后的核心原理只有一句话