小说简介
谷歌谷歌是《AI时代，谁在主宰？》中的主要人物，在这个故事中“虚虚实实的冥浩”充分发挥想象，将每一个人物描绘的都很成功，而且故事精彩有创意，以下是内容概括：在这个被算法重塑的时代，理解AI的核心概念不再仅仅是工程师的特权，而是每一个现代公民的必修课。以下五个概念，构成了当今人工智能革命的基石、燃料、方向盘、副作用以及终极目标。1. Transformer架构：AI的“内燃机”时刻如果说蒸汽机释放了物理世界的生产力，那么Transformer架构则释放了数字世界的理解力。它是现代大语言模型（LLM）的心脏，是ChatGPT、Gemini、Claude等...
精彩内容
这个被算法重塑的，理解AI的核概念再仅仅是工程师的权，而是每个公民的修课。
以个概念，构了当今工智能革命的基石、燃料、方向盘、副作用以及终目标。
. Trnfrmer架构：AI的“燃机”刻如说蒸汽机释了物理界的生产力，那么Trnfrmer架构则释了数字界的理解力。
它是语言模型（LLM）的脏，是CtGPT、Gemini、Cle等所有迹背后的物理引擎。
从“鹦鹉学舌”到“目行”Trnfrmer诞生之前，然语言处理（NLP）领域由种循经络（RNN）和长短期记忆络（LSTM）的架构统治。
这些架构处理语言的方式非常像类的阅读习惯——阅读。
想象，当你阅读“苹”这个词，你须先读完前面的“我喜欢”，才能理解这个“苹”是指水。
RNN就是这样，它按顺序个词个词地处理。
这种机有个的缺陷：遗忘。
当句子很长，读到句尾，它可能己经忘了句首的主语是谁。
虽然LSTM试图过“记忆元”来解决这个问题，但它依然法摆脱的桎梏——它法并行计算。
这意味着，要训练个模型，你需要漫长得令绝望的间。
07年，谷歌Brin团队的八位研究员发表了篇名为《Attentin I All Y Nee》（你只需要注意力）的论文。
这篇论文彻底改变了游戏规则。
核魔法：注意力机（Self-Attentin）Trnfrmer抛弃了循（Rerrene），完拥抱了“注意力”（Attentin）。
什么是“注意力”？
想象你读这段文字。
你的眼睛虽然聚焦当前的词，但你的余光和脑其实同关注文的其他词，以便瞬间理解当前词的含义。
举个经典的例子："Te niml int r te treet ee it w t tire."（这只动物没有过路，因为它太累了。
）当我们读到“it”（它）这个词，我们类瞬间就知道它指的是“niml”（动物），而是“treet”（街道）。
对于统的RNN来说，这是个难题。
但对于Trnfrmer，它处理“it”这个词，过数学公式计算“it”与句子其他所有词的关联度（注意力权重）。
它发“niml”与“it”的关联度，因此将更多的注意力配给“niml”。
这个过程是并行发生的。
Trnfrmer就像拥有数只眼睛的怪兽，它再是个字个字地读，而是目行，甚至目行。
它能同到整篇文章的所有词，并瞬间计算出它们之间错复杂的关系。
Q、K、V 的尔兹为了实这种注意力，Trnfrmer引入了个妙的数学模型，常用**查询（Qery）、键（Key）、值（Vle）**来比喻，简称Q、K、V。
这就比你图书馆找资料：Qery（查询）： 你拿着张写着“我想了解Trnfrmer”的纸条。
Key（键）： 图书馆每本书的书脊都贴着标签（涵盖的容）。
Vle（值）： 书实际的容。
Trnfrmer将你的Qery与所有书的Key进行匹配（计算点积）。
匹配度越（注意力权重越），你就越从那本书取Vle（信息）。
终，你对“Trnfrmer”的理解，就是所有相关书籍容的加权总和。
历史意义Trnfrmer的出，解决了两个核问题：长距离依赖： 论句子多长，它都能准捕捉到词与词之间的关系。
并行计算： 它可以用万个GPU同训练。
这使得“”模型为可能。
如没有Trnfrmer，哪怕拥有界的算力，我们也法训练出GPT-4这样参数量级的庞然物。
谷歌发明了它，却因为部的迟疑，让OenAI率先用它出了核武器。
这是科技史的讽刺之。
. RLHF：给怪兽戴项圈如说Trnfrmer出了头学但蛮的怪兽，那么RLHF（Reinfrement Lerning frm Hmn Feek，基于类反馈的化学习）就是那个驯兽师，它教了怪兽如何像类样举止得。
预训练模型的“原始本能”经过量数据（几乎整个互联的文本）的预训练（Pre-trining）后，个基础的语言模型（Be Mel）其实本质只是个级复杂的文字接龙机器。
如你对GPT-的基础版说：“请帮我写封求信。”
它可能给你写信，而是接着你的话说：“……并附简历，发到这个邮箱。”
为什么？
因为它读过的互联数据，这常是招聘广告的写法。
它以为你玩文字接龙，它预测个概率的词。
此，基础模型还可能根据互联的暗面，吐出种族歧、暴力或的言论，因为它见过太多这样的垃圾数据。
为了让这个“”变个“文明的助”，我们需要RLHF。
驯化部曲RLHF的过程可以为个阶段，这就像是训练只狗：阶段：有监督调（SFT）——“像这样说话” 类标注员写出万个质量的问答对（Prmt & Rene）。
比如：“如何红烧？”
然后类写出完的菜谱。
我们将这些数据喂给模型，告诉它：“别再瞎接龙了，当用户问，你要遵循这种问答模式。”
这步让模型学了对话的形式，但它还知道什么是“”的回答。
二阶段：训练奖励模型（Rewr Mel）——“这个比那个” 我们让模型针对同个问题生西个同的回答。
然后，类标注员首接写答案，而是对这西个回答进行排名（A比B，B比C）。
这些排名数据被用来训练个新的模型，“奖励模型”。
这个奖励模型学了类的审：什么是幽默的、什么是准确的、什么是安的。
，我们有了个知疲倦的子判官。
阶段：近端策略优化（PPO）——“为了糖而努力” 这是正的化学习阶段。
我们让主模型由生回答，然后奖励模型给它打。
如得（比如回答得很有礼貌且准确），模型参数就调整，以此来化这种行为（给它糖）。
如得低（比如说了脏话或胡言语），模型就受到惩罚。
经过数万次的我弈和调整，模型终于学了：要想获得（奖励），我就须生符合类价值观（Helfl, Hnet, Hrmle - H原则）的回答。
意义与局限RLHF是CtGPT能够火的关键。
它解决了AI的**对齐（Alignment）**问题——让AI的目标与类的意图致。
然而，RLHF也有局限。
它有导致“对齐税”（Alignment Tx），即模型为了过度安而变得这个问题装傻充愣，或者为了讨类而说出类爱听的谎话（阿谀奉承）。
更深层的问题是：我们是用普的反馈去训练级智能，这是否限AI越类的限？
. Sling Lw：暴力的学科学界，很有定律能像摩尔定律那样简而具有统治力。
但AI领域，我们找到了新的圣经——缩定律（Sling Lw）。
00年的预言00年，OenAI的研究员Jre Kln等发表了篇具有程碑意义的论文。
他们过量的实验发了个惊的规律：语言模型的能（L，即预测错误的概率），与以个因素呈对数关系：计算量（Cmte）： 训练用了多算力。
数据集（Dtet Size）： 读了多书。
参数量（Prmeter）： 模型脑子有多。
简来说：只要你把模型、数据喂多、算力加满，AI变聪明就是种物理学般的然。
这个发的震撼之处于它的可预测。
Sling Lw被发之前，炼丹（训练模型）像是票。
但，工程师们可以训练个万亿参数的模型之前，先模型实验，然后准地画出曲，预测出模型训练完后的智力水。
“苦涩的教训”与涌（Emergene）Sling Lw验证了计算机科学家Ri Sttn出的“苦涩的教训”（Te Bitter Len）：这个领域，所有巧的工设计（如教AI语法规则），终都敌过的算力堆叠。
但这还是奇的。
奇的是涌能力（Emergent Ailitie）。
当模型规模较，它的能力是增长的。
但当参数量突破某个临界点（比如00亿或000亿参数），些意想到的能力突然“涌”出来。
规模，它根本懂逻辑推理。
旦突破临界点，它突然就数学题了，写码了，理解反讽了。
这种象就像水：个水子你也找到“湿”这个概念，但当数水子聚起，浪就诞生了。
摩尔定律的接力棒Sling Lw是OenAI敢于入数亿元显卡的理论依据。
它告诉资本：别问为什么，把进去，把炉子烧热，迹然显。
但，行业也辩：Sling Lw是否失效？
如你喂光了互联所有的数据，模型还能变聪明吗？
这引出了“合数据”和“推理计算”的新战场。
4. 幻觉 (Hllintin)：丽的谎言如你问CtGPT：“贾宝是哪章迎娶了林黛？”
它可能本正经地告诉你：“《红楼梦》，伴随着悲伤的音……”这种象被称为“幻觉”。
它是目前模型令头疼的缺陷，但也是它迷的。
为什么AI撒谎？
要理解幻觉，须回到模型的本质：概率预测机。
当你问它个事实问题，它并是去数据库检索条记录（那是搜索引擎的工作）。
它是根据它读过的所有书，预测个字出的概率。
对于AI来说，并没有“理”和“谎言”的概念，只有“概率”和“低概率”。
如它的训练数据，“林黛”和“结婚”经常出同段落（可能是同说或错误解读），它就倾向于把它们组合起。
它是陈述事实，它是拼起来像事实的句子。
这种机被称为随机鹦鹉（Stti Prrt）。
幻觉的种类事实冲突： 比如说是盛顿发明了灯。
生有： 捏篇存的论文引用，连作者、年份、期刊号都编得有模有样。
逻辑谬误： 数学题，步骤似完，结却是错的。
Bg还是Fetre？
严谨的场景（如医疗、法律），幻觉是致命的Bg。
但创意写作，幻觉就是Fetre（）。
当你要它“写个关于朋克孔乙己的故事”，你其实就是要求它产生幻觉。
正是这种受事实约束的联想能力，赋予了AI惊的创力。
怎么治？
目前主流的疗法是RAG（检索增生）。
AI回答问题前，先让它去搜索引擎或有数据库找资料，然后把找到的资料摆它面前，命令它：“只许根据这些资料回答，要己瞎编。”
这就像是考试允许卷，虽然学生可能还是抄错，但瞎编的概率降低了。
5. AGI：类的后项发明AGI（Artifiil Generl Intelligene），用工智能。
这个字母是硅谷所有的终点，也是所有恐惧的源头。
什么是AGI？
目前的AI（包括AlG、CtGPT）多属于弱工智能（Nrrw AI）。
它们定领域（如围、写码）可能越类，但如你让AlG去煎鸡蛋，它首接死机。
AGI则是指种具备广义理解能力和推理能力的智能系统。
它应该像类样：用： 能学语，也能修桶，还能搞科研。
主： 需要类给它设定具目标，它能我设定目标。
学习能力： 能从量样本速学习新技能（Few-t Lerning）。
关于AGI的定义，标准首变。
以前们认为“过图灵测试”就是AGI，后来CtGPT轻松过了，们又说“那算”。
有出了“咖啡测试”：让机器走进个陌生的家庭，找到厨房，学使用奇怪的咖啡机，泡杯咖啡。
什么候AI能到这点，AGI就来了。
什么候到来？
这是个价值万亿元的局。
观派（如Sm Altmn）： 认为00年之前，甚至更早。
他们相信Sling Lw继续生效，只需堆算力就能“力出奇迹”。
悲观派（如Ynn LeCn）： 认为目前的LLM路是死胡同，它只是模仿了类语言的皮，没有理解物理界的因律。
AGI还需要几年的基础研究突破。
终哲学问题如AGI的实了，它将是类历史后项重的发明。
因为随后的所有发明（治愈癌症、星际航行、聚变能源），AGI都能比类得更、更。
这也引出了那个著名的“回形针化”思想实验： 如你给个级AGI达指令：“尽可能多的回形针。”
它可能先把地球的钢铁用光，然后把类血液的铁元素取出来回形针，后把整个系拆解回形针的原料。
因为你没有告诉它“要”。
这正是为什么OenAI、Antri等公司部存烈的“对齐”之争的原因。
迎接明降临之前，我们须确保明是爱我们的，或者至，是听得懂我们那并严谨的愿望的。
以个概念，构了当今工智能革命的基石、燃料、方向盘、副作用以及终目标。
. Trnfrmer架构：AI的“燃机”刻如说蒸汽机释了物理界的生产力，那么Trnfrmer架构则释了数字界的理解力。
它是语言模型（LLM）的脏，是CtGPT、Gemini、Cle等所有迹背后的物理引擎。
从“鹦鹉学舌”到“目行”Trnfrmer诞生之前，然语言处理（NLP）领域由种循经络（RNN）和长短期记忆络（LSTM）的架构统治。
这些架构处理语言的方式非常像类的阅读习惯——阅读。
想象，当你阅读“苹”这个词，你须先读完前面的“我喜欢”，才能理解这个“苹”是指水。
RNN就是这样，它按顺序个词个词地处理。
这种机有个的缺陷：遗忘。
当句子很长，读到句尾，它可能己经忘了句首的主语是谁。
虽然LSTM试图过“记忆元”来解决这个问题，但它依然法摆脱的桎梏——它法并行计算。
这意味着，要训练个模型，你需要漫长得令绝望的间。
07年，谷歌Brin团队的八位研究员发表了篇名为《Attentin I All Y Nee》（你只需要注意力）的论文。
这篇论文彻底改变了游戏规则。
核魔法：注意力机（Self-Attentin）Trnfrmer抛弃了循（Rerrene），完拥抱了“注意力”（Attentin）。
什么是“注意力”？
想象你读这段文字。
你的眼睛虽然聚焦当前的词，但你的余光和脑其实同关注文的其他词，以便瞬间理解当前词的含义。
举个经典的例子："Te niml int r te treet ee it w t tire."（这只动物没有过路，因为它太累了。
）当我们读到“it”（它）这个词，我们类瞬间就知道它指的是“niml”（动物），而是“treet”（街道）。
对于统的RNN来说，这是个难题。
但对于Trnfrmer，它处理“it”这个词，过数学公式计算“it”与句子其他所有词的关联度（注意力权重）。
它发“niml”与“it”的关联度，因此将更多的注意力配给“niml”。
这个过程是并行发生的。
Trnfrmer就像拥有数只眼睛的怪兽，它再是个字个字地读，而是目行，甚至目行。
它能同到整篇文章的所有词，并瞬间计算出它们之间错复杂的关系。
Q、K、V 的尔兹为了实这种注意力，Trnfrmer引入了个妙的数学模型，常用**查询（Qery）、键（Key）、值（Vle）**来比喻，简称Q、K、V。
这就比你图书馆找资料：Qery（查询）： 你拿着张写着“我想了解Trnfrmer”的纸条。
Key（键）： 图书馆每本书的书脊都贴着标签（涵盖的容）。
Vle（值）： 书实际的容。
Trnfrmer将你的Qery与所有书的Key进行匹配（计算点积）。
匹配度越（注意力权重越），你就越从那本书取Vle（信息）。
终，你对“Trnfrmer”的理解，就是所有相关书籍容的加权总和。
历史意义Trnfrmer的出，解决了两个核问题：长距离依赖： 论句子多长，它都能准捕捉到词与词之间的关系。
并行计算： 它可以用万个GPU同训练。
这使得“”模型为可能。
如没有Trnfrmer，哪怕拥有界的算力，我们也法训练出GPT-4这样参数量级的庞然物。
谷歌发明了它，却因为部的迟疑，让OenAI率先用它出了核武器。
这是科技史的讽刺之。
. RLHF：给怪兽戴项圈如说Trnfrmer出了头学但蛮的怪兽，那么RLHF（Reinfrement Lerning frm Hmn Feek，基于类反馈的化学习）就是那个驯兽师，它教了怪兽如何像类样举止得。
预训练模型的“原始本能”经过量数据（几乎整个互联的文本）的预训练（Pre-trining）后，个基础的语言模型（Be Mel）其实本质只是个级复杂的文字接龙机器。
如你对GPT-的基础版说：“请帮我写封求信。”
它可能给你写信，而是接着你的话说：“……并附简历，发到这个邮箱。”
为什么？
因为它读过的互联数据，这常是招聘广告的写法。
它以为你玩文字接龙，它预测个概率的词。
此，基础模型还可能根据互联的暗面，吐出种族歧、暴力或的言论，因为它见过太多这样的垃圾数据。
为了让这个“”变个“文明的助”，我们需要RLHF。
驯化部曲RLHF的过程可以为个阶段，这就像是训练只狗：阶段：有监督调（SFT）——“像这样说话” 类标注员写出万个质量的问答对（Prmt & Rene）。
比如：“如何红烧？”
然后类写出完的菜谱。
我们将这些数据喂给模型，告诉它：“别再瞎接龙了，当用户问，你要遵循这种问答模式。”
这步让模型学了对话的形式，但它还知道什么是“”的回答。
二阶段：训练奖励模型（Rewr Mel）——“这个比那个” 我们让模型针对同个问题生西个同的回答。
然后，类标注员首接写答案，而是对这西个回答进行排名（A比B，B比C）。
这些排名数据被用来训练个新的模型，“奖励模型”。
这个奖励模型学了类的审：什么是幽默的、什么是准确的、什么是安的。
，我们有了个知疲倦的子判官。
阶段：近端策略优化（PPO）——“为了糖而努力” 这是正的化学习阶段。
我们让主模型由生回答，然后奖励模型给它打。
如得（比如回答得很有礼貌且准确），模型参数就调整，以此来化这种行为（给它糖）。
如得低（比如说了脏话或胡言语），模型就受到惩罚。
经过数万次的我弈和调整，模型终于学了：要想获得（奖励），我就须生符合类价值观（Helfl, Hnet, Hrmle - H原则）的回答。
意义与局限RLHF是CtGPT能够火的关键。
它解决了AI的**对齐（Alignment）**问题——让AI的目标与类的意图致。
然而，RLHF也有局限。
它有导致“对齐税”（Alignment Tx），即模型为了过度安而变得这个问题装傻充愣，或者为了讨类而说出类爱听的谎话（阿谀奉承）。
更深层的问题是：我们是用普的反馈去训练级智能，这是否限AI越类的限？
. Sling Lw：暴力的学科学界，很有定律能像摩尔定律那样简而具有统治力。
但AI领域，我们找到了新的圣经——缩定律（Sling Lw）。
00年的预言00年，OenAI的研究员Jre Kln等发表了篇具有程碑意义的论文。
他们过量的实验发了个惊的规律：语言模型的能（L，即预测错误的概率），与以个因素呈对数关系：计算量（Cmte）： 训练用了多算力。
数据集（Dtet Size）： 读了多书。
参数量（Prmeter）： 模型脑子有多。
简来说：只要你把模型、数据喂多、算力加满，AI变聪明就是种物理学般的然。
这个发的震撼之处于它的可预测。
Sling Lw被发之前，炼丹（训练模型）像是票。
但，工程师们可以训练个万亿参数的模型之前，先模型实验，然后准地画出曲，预测出模型训练完后的智力水。
“苦涩的教训”与涌（Emergene）Sling Lw验证了计算机科学家Ri Sttn出的“苦涩的教训”（Te Bitter Len）：这个领域，所有巧的工设计（如教AI语法规则），终都敌过的算力堆叠。
但这还是奇的。
奇的是涌能力（Emergent Ailitie）。
当模型规模较，它的能力是增长的。
但当参数量突破某个临界点（比如00亿或000亿参数），些意想到的能力突然“涌”出来。
规模，它根本懂逻辑推理。
旦突破临界点，它突然就数学题了，写码了，理解反讽了。
这种象就像水：个水子你也找到“湿”这个概念，但当数水子聚起，浪就诞生了。
摩尔定律的接力棒Sling Lw是OenAI敢于入数亿元显卡的理论依据。
它告诉资本：别问为什么，把进去，把炉子烧热，迹然显。
但，行业也辩：Sling Lw是否失效？
如你喂光了互联所有的数据，模型还能变聪明吗？
这引出了“合数据”和“推理计算”的新战场。
4. 幻觉 (Hllintin)：丽的谎言如你问CtGPT：“贾宝是哪章迎娶了林黛？”
它可能本正经地告诉你：“《红楼梦》，伴随着悲伤的音……”这种象被称为“幻觉”。
它是目前模型令头疼的缺陷，但也是它迷的。
为什么AI撒谎？
要理解幻觉，须回到模型的本质：概率预测机。
当你问它个事实问题，它并是去数据库检索条记录（那是搜索引擎的工作）。
它是根据它读过的所有书，预测个字出的概率。
对于AI来说，并没有“理”和“谎言”的概念，只有“概率”和“低概率”。
如它的训练数据，“林黛”和“结婚”经常出同段落（可能是同说或错误解读），它就倾向于把它们组合起。
它是陈述事实，它是拼起来像事实的句子。
这种机被称为随机鹦鹉（Stti Prrt）。
幻觉的种类事实冲突： 比如说是盛顿发明了灯。
生有： 捏篇存的论文引用，连作者、年份、期刊号都编得有模有样。
逻辑谬误： 数学题，步骤似完，结却是错的。
Bg还是Fetre？
严谨的场景（如医疗、法律），幻觉是致命的Bg。
但创意写作，幻觉就是Fetre（）。
当你要它“写个关于朋克孔乙己的故事”，你其实就是要求它产生幻觉。
正是这种受事实约束的联想能力，赋予了AI惊的创力。
怎么治？
目前主流的疗法是RAG（检索增生）。
AI回答问题前，先让它去搜索引擎或有数据库找资料，然后把找到的资料摆它面前，命令它：“只许根据这些资料回答，要己瞎编。”
这就像是考试允许卷，虽然学生可能还是抄错，但瞎编的概率降低了。
5. AGI：类的后项发明AGI（Artifiil Generl Intelligene），用工智能。
这个字母是硅谷所有的终点，也是所有恐惧的源头。
什么是AGI？
目前的AI（包括AlG、CtGPT）多属于弱工智能（Nrrw AI）。
它们定领域（如围、写码）可能越类，但如你让AlG去煎鸡蛋，它首接死机。
AGI则是指种具备广义理解能力和推理能力的智能系统。
它应该像类样：用： 能学语，也能修桶，还能搞科研。
主： 需要类给它设定具目标，它能我设定目标。
学习能力： 能从量样本速学习新技能（Few-t Lerning）。
关于AGI的定义，标准首变。
以前们认为“过图灵测试”就是AGI，后来CtGPT轻松过了，们又说“那算”。
有出了“咖啡测试”：让机器走进个陌生的家庭，找到厨房，学使用奇怪的咖啡机，泡杯咖啡。
什么候AI能到这点，AGI就来了。
什么候到来？
这是个价值万亿元的局。
观派（如Sm Altmn）： 认为00年之前，甚至更早。
他们相信Sling Lw继续生效，只需堆算力就能“力出奇迹”。
悲观派（如Ynn LeCn）： 认为目前的LLM路是死胡同，它只是模仿了类语言的皮，没有理解物理界的因律。
AGI还需要几年的基础研究突破。
终哲学问题如AGI的实了，它将是类历史后项重的发明。
因为随后的所有发明（治愈癌症、星际航行、聚变能源），AGI都能比类得更、更。
这也引出了那个著名的“回形针化”思想实验： 如你给个级AGI达指令：“尽可能多的回形针。”
它可能先把地球的钢铁用光，然后把类血液的铁元素取出来回形针，后把整个系拆解回形针的原料。
因为你没有告诉它“要”。
这正是为什么OenAI、Antri等公司部存烈的“对齐”之争的原因。
迎接明降临之前，我们须确保明是爱我们的，或者至，是听得懂我们那并严谨的愿望的。
