编译 | 宇琪上海锚索厂家

计议 | Tina

年前，Google 科学 Jeff Dean 在 AI Ascent 2025 峰会上推断：到 2026 年，可能出现能够全天候职责、才略接近初软件工程师的 AI 系统。

年后，也等于 6 天前，他在期 YC 访谈中承认，我方低估了 AI 的进展速率。模子处理复杂任务的才略，增长得远比他其时预感的快。那么，在 Jeff Dean 看来，AI 接下来还会以多快的速率上前进？创业公司又该如安在通用模子不停膨胀才略界限的期间糊口下来？

今天凌晨，这期访谈又有了不同的重量。Jeff Dean 通告，未来将是我方在 Google 的后天。力 Google 27 年后，这位被誉为硅谷"程序员中的程序员"、度参与 Google 系统架构和 AI 本领建设的传奇工程师，将与耐久作伙伴 Sanjay Ghemawat、Oriol Vinyals 和 Quoc Le 共同创立 Discovery Loop，聚焦机器学习、科学和工程前沿推断的公益公司。Google 将作为创举投资和云计较作伙伴赓续与他们作。

据 WIRED 败露，这个创业想法其实只是几周前才浮出水面。为了遮挽这支中枢团队，Alphabet CEO Sundar Pichai 还曾在屡次会面中试图劝服他们"别摘工"。但终，几东谈主如故决定离开大公司体系，去相易初创公司才有的乐趣、速率息争放。

Jeff Dean 在告别信中写谈，我方见证了 Google 从独一 25 东谈主的公司，成长为领有 19 万多名职工的科技巨头。如今，Google 已有 13 款产物的用户范围过 10 亿。从搜索、邮件、翻译和，到大范围计较、自动驾驶和 AI 系统，他参与建设的本领险些连结了 Google 的总共这个词发展历程。

而促使他们离开的个要害原因，也恰正是大公司难以解脱的惯。正如 Oriol Vinyals 所说，在大型组织里面，要动任何激进变化，齐须先克服层层阻力；他们想作念点不样的东西。颇挑升想的是，迄今摒弃，这新公司甚而还没来得及招东谈主、租办公室，至于谁来当 CEO，团队里面顷刻停顿后，大把目力投向了 Jeff Dean——"我想应该是我吧。"他说。

因此，这期发布于 Jeff Dean 下野前夜的访谈，也像是他站在任业生涯飘浮点上，对 AI 下阶段的次诱骗判断。节目中，他与 YC 伙东谈主 Diana Hu 究诘了 AI 从"模子为中心"转向"高下文工程"的范式变化、理硬件正在出现的巨大契机，以及创业者如安在通用模子越来越强、越来越多控制可能被模子径直团结的期间，找到信得过好得遵从的糊口空间。

本文基于该访谈整理，经 InfoQ 剪辑。

太长不看版

Q：客岁你说到 2026 年会出现才略接近初工程师的 AI。年以前了，这个推断脸了吗？

A：特殊准确，但我低估了件事：模子处理越来越复杂任务的才略，增长速率比我预感的快得多。而且这种才略正在溢出到编码以外的域，基于 Agent 的系统运行信得过崭露头角。

Q：对 2027 年的斗胆推断是什么？

A：度学习系统将摒弃全自动的问题判辨和自动化实验轮回：把问题拆成子问题，自动跑实验，整成果，得到个更正后的系统。而且这不单适用于机器学习，任何有可量度想法的科学和工程域齐能用上。

Q：2001 年 Google 把搜索索引装进内存，2026 年阿谁"装进内存"的时刻是什么？

A：能、拘泥耗的用理硬件。理是让 Agent 系统触达多东谈主的要道，用硬件能带来 50 倍蔓延和 30-80 倍能普及。当年省却的是磁盘寻址的物理蔓延，今天省却的是通用计较的过剩程序。但此次赌注，因为 Agent 需要的是指不胜屈次连气儿理，每次蔓延齐在累积。

Q：东谈主们现在对 AI 大的扭曲是什么？

A：大齐以为 Agent 等于跑两个小时的临时任务，但配饱和强的底层模子，你不错让 Agent 连气儿跑上几天甚而几周。

Q：那张催生 TPU 的餐巾纸数学，到底算出了什么？

A：2013 年语音识别果暴增，咱们算了笔账：淌若每个用户每天对入辖下手机说三分钟话，用 CPU 根柢撑不住，于是造了 TPU。几年后 Transformer 横空出世时，它恰好成了根基。

Q：AI 期间的蔓延数字清单，该记着哪个数？

A：作念次计较蹧跶约皮焦耳，但把数据搬进处理器的那小段路，能耗是它的 1000 倍。这个差距决定了你须作念 batching，把很千般本拼在起处理，把老本摊成"千倍除以 batch size"。

Q：创举东谈主该若何选要作念的域？

A：拿现时强的通用模子去测你想作念的域，淌若模子生遵守在 0 或 1，那是好信号；淌若在 20，那是危境信号，讲解才略如故萌芽，下代模子很快会粉饰。

Q：当 Agent 写完总共代码，什么技巧变得稀缺？

A：回味，知谈该让你的 Agent 去解决什么问题。是靠解决过无数问题的劝诫，二是写下你以为来日 12 个月可能要害的十件事，年后回想复盘哪些真实变要害了，三是作念狂的想想实验，比如"淌若晶体管每天出错 20 次而不是每百万年次，系统该若何遐想？"

能、拘泥耗的理硬件鼎新

Diana：客岁 5 月在 AI Ascent 大会上，你说到 2026 年傍边，可能会出现能够全天候职责、才略接近初工程师的 AI 系统，现在咱们离这个推断有多近？

Jeff：我以为模子在处理基于 Agent 的永劫刻运行编码任务面跳跃相等大。现在看起来很昭着，它们确乎如故特殊有才略了，取决于你对"初工程师"的精准界说，这个推断现在看来特殊准确。

Diana：那你其时低估了什么？

Jeff：我认为处理越来越复杂任务的才略，其增长速率比我预感的要快得多。而且，在编码以外的域，这些基于 Agent 的系统也运行信得过崭露头角，我认为这将是来日个要害的趋势。

Diana：你以为 2027 年版的推断会是什么？

Jeff：我认为你会看到多机器学习系统自身的自动化。具体来说，等于让机器学习系统通过运行无数实验来普及我方的才略，把问题判辨成子问题，在致密的自动实验轮回中运行这些子问题，然后把成果整起来，从这种全自动的问题判辨和自动化实验中得到个更正后的系统。而且这不仅适用于机器学习，也适用于科学和工程的其他域。基本上任何有可量度想法的事情上海锚索厂家，如今齐能取得很猛进展。

Diana：2001 年，Google 搜索如故跑在硬盘上的。你和 Sanjay 算了笔账，强项到在某个时刻点，总共这个词搜索索引终于能装进总共运行入彀算机的内存里。你们作念出了阿谁激进的决定，基本上在几天之内就和 Sanjay 起把套全新的、基于内存而非硬盘的搜索版块到了出产环境，正是这件事让 Google 成为了今天的 Google。

历史老是在重演，那么在 2026 年确当下，阿谁"能装进内存了"的时刻是什么？在座总共东谈主齐应该想考和遐想的阿谁飘浮点在何处？

Jeff：情况有些不同，但我想说的是，你会看到越来越多能、拘泥耗的理硬件系统出现。因为现在大齐强项到，理是让这些 Agent 系统触达多东谈主的要道。蔓延真实很要害，而硬件的门化是让你在能和蔓延上齐于 GPU 或 CPU 这类通用计较开发的中枢门路。

Diana：是以你的真谛是咱们也许无谓再恭候了？

Jeff：没错，遐想下，淌若蔓延能 50 倍，你能作念些什么？

Diana：在座大要 6000 东谈主，他们脑子里对于 AI 的哪个假定，其实如故是错的了？

Jeff：我想可能是东谈主们还莫得充分强项到，Agent 系统能跑多久的后劲。大总以为 Agent 等于跑个小时、两个小时的临时任务。但事实上，在某些问题域，配饱和苍劲的底层模子，你不错让这些 Agent 连气儿跑上几天甚而几周，信得以前解决那些复杂的、耐久的问题。这不单是是"多等会儿"的区别，而是质变。

Diana：那你执行跑过哪些跑了几个星期的任务？你让 Agent 去解决什么？

Jeff：比如，你不错让 Agent 去摒弃个全新版块的软件，用不同的编程语言重写，可能具备好的安全或能特。它真实能崇拜地去完成这件事，而且完成得特殊靠谱。

TPU 的发源

Diana：大直齐知谈你尽头擅长"餐巾纸数学"。有个对于你的故事是，2013 年谷歌的语音识别刚上线时，你作念了个估算：淌若每个谷歌用户每天用手机对着语音识别系统说三分钟话，总共这个词行状器的范围就得翻倍，那老本得吓东谈主。于是你构建了个定制芯片，那等于 TPU 的发源故事。

Jeff：其时的情况是，咱们素养的基于度学习的语音模子，果运行变得相等好，但计较支出比老的语音系统贵得多，不外它把造作率掉了半。这特殊于把语音识别域 20 年的跳跃，浓缩在几个月里就摒弃了，咱们只是迁移了下模子、稍稍扩大范围、拿到好的数据。于是咱们运行挂念：淌若语音识别果大幅普及，东谈主们的使用频率也会大幅上涨。

是以阿谁粗劣计较执行上等于对于：淌若东谈主们运行频繁地使用语音识别，用来口述邮件、对入辖下手机言语，会发生什么？算完之后咱们发现，其时用 CPU 跑根柢撑不住，于是咱们造出了 TPU，种门为低精度粘稠线代数遐想的芯片，而这正是今天险些总共机器学习算法的中枢。

天然除了算线代数，它啥也干不了，不可运行 Chrome 和 Word，但这对机器学习理来说所谓。几年后这颗芯片问世，能比同期代的 CPU 和 GPU 出 30 到 80 倍，蔓延也低了 20 到 30 倍。

Diana：你其时服气没法预感到，TPU 会在其后 Transformer 架构横空出世时变得如斯根基，毕竟 Transformer 是 TPU 发明之后好几年才出现的。

Jeff：这恰正是咱们当初把它作念成个通用线代数系统的原因。咱们知谈机器学习算法还在演化，不可过度特化，但又要特化到能获取巨大的能收益。是以咱们作念了很大的乘法单元、速内存、速互联，其后的 TPU 还能把成百上千颗芯片地协同到同个问题上。就这样代代迭代，直作念到今天。

Diana：淌若有谁想当来日的创举东谈主，应该算谈什么样的"餐巾纸数学"，才智造出像 TPU 样有影响力的东西？

Jeff：我以为，去想想你在想考的域里看到了什么问题、什么瓶颈，然后问我方：有莫得种相等不同的想考式，能让解决案带来个数目甚而两个数目的普及？有时候你只是眯着眼看个问题，不被"这个问题今天是若何解决的"锚定住，而是从道理启航去想考你会若何解决它，你就能冒出些被东谈主根柢没猜测的信得过的好点子。

AI 期间的"蔓延数字"清单

Diana：你多年前写过份相等的清单，叫《每个工程师齐应该知谈的蔓延数字》，里面列了各式系统操作的耗时：缓存未掷中要多久、磁盘寻谈要多久、个网罗包从加州传到荷兰要多久……这份清单其后成了数散播式系统工程师的圣经。现在，是时候新 AI 版的了。

Jeff：淌若看今天 AI 系统里什么要害，你先得知谈加快器上主内存到片上内存、再到乘法单元之间的带宽是若干，你得知谈作念次乘法运算要蹧跶若干能量，你还得知谈芯片之间的互联带宽是若干，以及在这个带宽下你能连若干颗芯片。再往大了说，当你需要跟 10000 颗芯片通讯而不是 500 颗的时候，网罗带宽会衰减到什么程度。这些数字才是信得过决定你若何想考问题的底层敛迹，它们径直决定了你会用什么样的想路去解决什么样的问题。

Diana：你说过，现在量度切的标尺酿成了能量。作念次计较或数学运算巧合蹧跶皮焦耳，但移动数据、作念数据 I/O 的能耗是它的 1000 倍。

Jeff：没错。等于从加快器上的 HBM 把数据搬进处理器、让它信得过能算得上的那小段路，能耗就差了三个数目。

Diana：这个差距其的确暗暗决定哪些产物能作念出来、哪些算法阶梯能走通。既然数据移动这样贵，淌若创举东谈主来找你，说我方遭遇了"模子问题"，但执行上执行是动力问题或数据 I/O 问题。你若何分散这两者？

Jeff：你刚才提到的这个千倍各异，其实塑造了机器学习里无数的有盘算。淌若莫得这千倍的差距，你根柢不需要作念 batching。但现实是你须把很千般本、许多 token 拼在起处理，才智摊薄数据移动的老本，不是付出千倍的代价，而是付出"千倍除以 batch size"的能耗。而对低蔓延场景来说，batching 并不友好。是以这些硬件层面的能耗考量，刻影响着咱们构建表层系统时的每个有盘算。

Diana：个很具体的例子等于素养模子的式，把数据集分批、跑 epoch，许多东谈主以为这是模子问题，但执行上这执行上是个系统的数据 I/O 问题，对吧？

Jeff：对，你须拼装 batch 才智让硬件跑出率。联想情况下你恨不得用 batch size 等于 1 来素养，但那样率太差了，是以现在大齐用很大的 batch。

Diana：我据说你有个民俗：消散段时刻，然后带着个妙案回想。那有莫得可能你花上几周时刻，把 batch size 等于 1 的素养解决？

Jeff：说真话，我近多在想理这件事。理是个很挑升想的问题，因为你确乎想要低蔓延，素养倒不定需要那么低的蔓延，而理恰正是 batching 不好使的域。中枢等于尽量把数据搬运降到低，然后去想低精度的运算，也许不需要撑捏那么多不同种类的精度姿首。淌若你对需要哪种精度有很好的谜底，那就径直把它固化进硬件里，别的齐无谓管。

Diana：我想起位计较机科学跟我说过的个中枢类比：总共这个词 AI 过程执行上是个巨大的压缩问题。因为要让数据有损压缩、再把它复原出来，你基本上得先信得过意见它。

Jeff：对，淌若你信得过意见数据，就应该能把它压缩得相等好。

Diana：Transformer 架构恰恰等于被考证为尽头好用的种压缩式。

Jeff：这得归功于我的同事们。

高下文工程是下个前沿

Diana：以前咱们谈 AI 跳跃，时常等于指模子自身变得好。但近几年越来越昭着的是，不单是模子范围、参数数目或数据量，而是检索、器具调用、悼念、Agent 器具这些外围才略上海锚索厂家，这些东西正在集聚成东谈主们所说的"高下文工程"。

Jeff：模子其实只是总共这个词系统里的块拼图。你要作念的，是构建个能解决信得过道理问题的竣工系统，这个系统需要个知谈若何用各式器具的模子，知谈若何检索干系信息，也许还保留着以前解决相似问题时检索过的历史信息，然后把这些信息放进模子的高下文里。

高下文工程的深沉之处在于，这些信息对模子来说是其露出的。不像素养数据那样，几万亿个 token 搅在起，融成几千亿参数的浓汤，什么齐糊在起，模子径直看到的高下文，远比那些暗昧的素养数据要明确得多。

接下来还规律悟有哪些器具可用、哪些器具能帮模子解决现时这个阶段的问题、若何把个复杂问题拆解成系列器具调用、甚而尝试多种旅途望望哪条走得通、然后评估果，这等于复杂 Agent 和多 Agent 系统的编排，它会变得越来越要害。

Diana：若何才智成为高下文工程的手？

Jeff：好的式等于径直用这些模子、Harness 和器具去解决执行问题。用着用着，你会看到模子在哪些地失败了。然后你会发现，你时常不需要迁移模子参数，那是外部很难作念到的事，而是通过写好的辅导词、遐想露出的高下文，就能让模子发达得好。

Diana：能不可给咱们举个你我方作念高下文工程的例子？你写过哪些 skills，或者配过哪些器具，让你的职责流发生了巨大的变化？

Jeff：就拿我和 Sanjay 几周前起作念的事来说吧，咱们往常要作念些相等底层库的能化职责。Google 里面有套微基准测试库，你不错用它来测量不同操作耗时多久，比如从数据结构里弹出个元素需要若干纳秒。这些数据结构可能跑在 Google 数百万个程度上，是以确保它们的能其实相等要害。

咱们写了个 skill，教模子如何按特定则程作念系列操作：先跑微基准测试测量现时能，然后作念代码修改，再重新跑基准测覆按证更正果，接着测量缓存占用，然后赓续迭代。这样它就能作念自我更正，执行上只是咱们把作为东谈主类会使用的法以模子能用的形势给了它。

Diana：也等于说，你们有个 skill，淌若别东谈主拿到了，就能像 Jeff Dean 样作念能化？全宇宙齐会这个东西，对某些东谈主来说它值限的钱。

Jeff：其实咱们几个月前发布了份文档，叫《Performance Hints》，是 Sanjay 和我写的。那是份大要 30 页的文档，预应力钢绞线涵盖了各式能化的技巧。如故有东谈主把它作念了摘录喂给各式模子，成果发现模子在理代码能问题上的才略确乎变强了。

Diana：在座列位可能齐在构建 Agent，也齐见过我方的 Agent 在 30 步或 40 步短暂跑偏。你以为今天的瓶颈是什么？是高下文评估器，如故因为这是个开环系统、造作不停累积？

Jeff：咱们天然但愿 Agent 能永劫刻运行，因为这样才智解决越来越复杂的问题。但正如你不雅察到的，它们有时在十次器具交互之后就不职责了。有时候是因为模子在尝试作念它穷乏劝诫的事情，模子旦偏离素养散播，能就会像大多数机器学习模子样急剧下落，离好意思瞻念区越远，失败的概率就越。

有几种顶住办法：是给模子提供 skill 和辅导，让它尽量走在老练的亮堂旅途上；二是采用多 Agent 系统，让多个 Agent 尝试不同案，再用另个模子或 Agent 去评估哪些案有出路。这执行上是用理时计较来搜索可能的解决案空间，能大幅普及永劫数行 Agent 进程的可靠和能。

Diana：你们里面是若何摒弃这种职责流的？

Jeff：咱们有各式 harness，还有整套 skill。

尤其是在 Google 里面开发环境里，咱们写了 skill 让 Agent 学会使用里面器具，代码审查、能测量、拉取日记文献。这些 skill 让基础模子即使没被素养过咱们有系统的用法，也能通过正确的 skill 界说把活干好。

初创公司如何败谷歌

Diana：Google 的特之处在于，你们从处理器到产物全栈协同遐想。哪些层是 Google 会捏续耕、不停蓄积势的？哪些地是两三个东谈主的小团队依然能赢的？

Jeff：显著 Google 和 Gemini 模子以及硬件基础设施，咱们追求的是构建能作念险些总共事情的通用模子。但在很厚情况下，这意味着咱们法在特定域干涉太多驻防力。个尽心遐想的界面，搭配个模子和组 skill，或者个不在通用模子体系里的用模子，反而可能领有显赫势，因为你不错为信得过热的域造出令东谈主愉悦、精度、质地的产物，我以为这正是两三个东谈主作念他们信得过怡悦的东西时能获取势的地。

通用模子的才略确乎在越来越广的范围内变强。是以你须想露出：你现在作念的东西，是能耐久竖立的，如故说前沿模子在来日 6 个月或 12 个月内就会作念得比你好？又或者是他们两三年内齐作念不到的事？这个时刻窗口的判断，是你决定作念什么时需要权衡的东西。

Diana：那具体若何判断呢？创举东谈主该若何理哪些域值得作念？

Jeff：要害的事情是选拔件你怡悦、想要去构建、而且你认为对宇宙有效的东西。其次，拿现时强的通用模子去测试你想作念的阿谁问题域。你先望望现在的模子在这个域发达如何，淌若它们作念不了，那巧合率是个好信号。淌若它们如故能作念部分了，但作念得不太好，那可能是个危境信号。因为这讲解这个才略如故运行出现在模子里了，跟着多素养数据、大范围的模子，它很可能变得好。是以你要找的是模子生遵守在 0 或 1 的域，而不是 20 的域。

Diana：那这些 0 的域若何找？它们是不是执行上等于素养集以外的东西？什么样的问题风景符这个标准？

Jeff：有时候是因为你作念的产物能构兵到某种特定类型的数据，而底层通用模子构兵不到。比如你作念个帮用户整理个东谈主信息的器具，模子自身莫得权限造访用户的个东谈主数据。也可能是些其清贫的问题，淌若你得到了正确的素养数据，你不错素养个比通用模子门的模子，而且你执行上不错以相等经济的式作念到这点，素养个针对特定问题的细分模子不需要那么多算力。

Diana：这样看其实有两条路。条路有点神秘，你们谷歌的标语是"组织环球的信息"，阿谁域基本如故被粉饰了，但"组织个东谈主我方的信息"这个向还怒放着。而二条路，你刚才提到某些域的用模子，能具体讲讲是哪些域吗？

Jeff：你看我同事们在 AlphaFold 上的职责，那是个门针对卵白质折叠的模子，相等生效，信得过把阿谁域处理得相等好。它不是个通用模子，而是个相等门的模子。在其他域，比如材料科学、芯片遐想，这种想路也能阐扬巨大作用，你不错费用精准但小众的模子，去作念今天很难作念的事情。

当 Agent 写完总共代码，稀缺技巧酿成了"回味"

Diana：你以前说过，管制群 Agent 的要道在于写出露出的遐想文档或 Spec。东谈主们如何擅长这个？

Jeff：当你与 Agent 作时，你越露出你想要什么，Agent 就会有越多的指针和规矩，以及它试图完成的想法的纲领。而淌若你莫得指定太多东西，Agent 就不得不停你的真谛。在很厚情况下，它可能断出与你遐想不同的东西。是以咱们从运行就告诉计较机科学，在编写软件之前先明确讲解你正在编写的软件试图完成什么。现在，指定你想要什么的要害上涨了。因为以前，你会把它交给个相等明智的东谈主，他可能有高下文或者不错问你后续问题。天然 Agent 有时也能作念到这点，但露出的 Spec 是个好主意。

举个例子：个果相等好的编码 Agent 的用法是，你不错让今天的模子把软件从种计较机语言翻译成另种语言，果相等好，因为在那种情况下你执行上有个其详确的 Spec，你有总共这个词软件来讲解系统应该作念什么。是以淌若你有个 Python 摒弃的东西，你想要个 Go 摒弃，这是现在模子似乎相等擅长的事情。因为它不错拿 Python 中的总共测试，确保它们在 Go 版块中通过，把测试翻译成 Go，比拟两个摒弃之间的行为各异直到莫得各异，而且相等，因为阿谁 Spec 太露出了。

Diana：假定每个东谈主齐学会了同期跑几百个 Agent，总共代码齐由 Agent 写收场，那什么技巧会变得稀缺？

Jeff：我认为是信得过出的回味，知谈该让你的 Agent 去解决什么问题，这才是推断问题的中枢。

个推断者不错领有总共器具和本领，但大部分战斗在于：你要把时刻花在哪个问题上？淌若你选对了问题而且生效解决了它，那远比你把个聊的问题实践得漂漂亮亮要好得多。这种"该作念什么"的层机灵，我认为其要害，而模子不太可能在这面变得很擅长。是以，来日会是东谈主来掌舵无数的 AI 支持计较，去完成伟大的事情。但"你但愿你的模子作念什么"这个执行，才是你信得过应该注的事情。

Diana：在这个 Agent 编程的期间，回味这个词被频繁说起。但它听起来太哲学了，若何把它变得具体？若何培养回味？

Jeff：这确乎是个难题，回味在很厚情况下莫得个可量度的客不雅标准。我以为部分来自劝诫，以前解决过无数不同的问题，会教导你什么样的问题在来日可能道理，或者什么样的事情通过拼接之前的法可能刚好能摒弃。另个法是：写下你以为来日 12 个月可能要害的堆事情。也许你挑了其中个去作念，但 12 个月后回想评估：其他那些事情里，哪些真实变得要害了？哪些被宇宙上其他东谈主作念出来了？哪些还莫得东谈主碰？这能为你我方的回味培养提供无数样本。

Diana：我以为还有三种式，咱们之前聊到的，作念相等狂的想想实验。

Jeff：哦对，那是另个好法。有时候，不要把总共大多数东谈主视为理所天然的事情行为理所天然。比如我前几天跟同事们作念了个狂的想想实验：60 年来，总共这个词硅芯片遐想和制造行业作念了无数职责，把晶体管作念得越来越小、造作率越来越低。因为咱们的假定是，每颗制造的芯片齐应该和另颗致，你不但愿任何 bit 翻转。但在宏不雅标准上，咱们构建大范围散播式系统时并不作念这个假定，咱们用不可靠的部件构建可靠的散播式文献系统。单个磁盘可能坏，但你的数据应该是安全的。那么个道理的想想实验是：淌若你试图用每天可能出 20 次错的晶体管来构建系统，而不是每百万年才出次错，会发生什么？ 那会是个相等不同的遐想点，可能会在制造端带来相等道理的可能。

Diana：太狂了，这运行跟神经风景计较或者东谈主脑的职责式产生共识了。

Jeff：正确。大脑中的信号从个地传到另个地并不是尽头可靠。是以在大脑里，当有信得过要害的信息需要传递时，会有多条通路来确保信息能到达。

Diana：有莫得个你毁灭的狂假定，终真实构建出了个有影响力的系统？

Jeff：TPU 等于个好例子，在个问题域看起来还莫得今天这样要害的时候，就为它门定制硬件。

MapReduce 的发源是另个好例子。我和 Sanjay 以及些同事之前写过许多手写并行化的代码，作念了无数 checkpoint 来确保在几百台或几千台机器上运行时饱和健壮。但那些代码时常和你要作念的浮浅事情混在起，比如"我想望望总共网页的内容，然后计较 URL 到页面语言的映射"，却被无数并行化和可靠代码磨灭了。咱们想起了函数式编程的素养，强项到不错眯着眼看这些问题，综合出 MapReduce 这个综合层，把 checkpoint 和可靠机制齐放到底层库里，总共东西齐构建在它之上。

是以，从阿谁"淌若咱们眯着眼看，能不可找到无数适这个综合的问题"的想想实验里，出生了 MapReduce。

用 AI 构建好的 AI

Diana：现在 AlphaChip 在布局芯片，AlphaEvolve 在建议解决案、评估并保留有的案，看起来你正在构建套能够自我复的系统——AI 在构建 AI。

Jeff：庸碌地说，这其实是科学法的基础：建议实验、摒弃实验、评估实验、获取成果。现在有越来越多的问题域，不错不单是跑几个实验，而是跑无数实验，因为你能够自动化这个轮回，让轮回的蔓延变得低，这会让咱们能够处理科学、工程、机器学习、模子遐想自身，以及芯片遐想等工程任务中的无数不同问题域。淌若你能自动化这些，而且有个编排框架，能把层想法判辨成子问题，每个子问题齐是自动化的探索轮回，然后编排框架再把子问题的解决案整周全体案，这将产生巨大的影响，会加快机器学习、加快科学、加快工程。

Diana：听起来许多域，只消有好的评估器，或者能被形势化考证的域，齐适 AI 自我更正。

Jeff：对，许多时候你的评估器需要变得快。举个例子，我的同事们大要十年前在量子化学域作念了些职责，你想了解某个分子的质，不错生成个分子构型，然后想知谈它有什么质，你不错跑个计较量相等大的密度泛函表面模拟器，那可能需要整晚的计较才智给出个谜底。

但我的同事们作念的是：拿无数模拟运行的输出，输入的分子构型和奋斗模拟器的输出，然后素养个神经近似器来替代模拟器。他们作念出了个比原模拟器快 30 万倍、精度险些样的考证开发。

这改变了你作念科学的式，你不错在吃午饭的时刻里筛选 1000 万个候选，而不是花六个月去凑够计较资源跑完总共模拟。在许多域，快的考证模子，有巨大的空间。

Diana：那你尽头期待这个速科学法解决哪些域的问题？

Jeff：显著机器学习自身等于个。能不可有个模子，通过跑无数实验来自我更正？今天大型推断团队更正模子的式是：东谈主们想出些想法，跑批小范围实验，看哪些有，然后把有但愿的放大范围，评估，整成新的。

但莫得任何信得过的勤劳休止这酿成个自动化的轮回，模子我方决定探索什么，或者在端倪上由东谈主轻轻下"为什么不试试包含这个的模子架构新想法"，然后它就跑无数实验，看哪些有，以快的速率整。执行上，你要化的是每单元计较输入的发现数目。

Diana：2014 年你和 Geoff Hinton、Oriol Vinyals 写了篇对于蒸馏的论文，即用个大模子素养个小、的模子，现在这如故成为行业里每个东谈主齐在用的技巧，但这篇论文被 NeurIPS 拒了。

Jeff：对。我不怪程序委员会，因为许多时候篇论文收到三份评审意见，有东谈主看了眼说"不太可能产生紧要影响"。但当咱们写这篇论文时，咱们看到了这是个要害的问题，因为咱们知谈从大范围的模子作念出低廉、才略强的模子，是咱们伏击想作念的事情，咱们想在语音、视觉等许多域，把模子行状给越来越多的东谈主。

但有时候评审者可能莫得那样的劝诫，他们可能不是在议论大范围 AI 行状，而是在想"这是个根柢的进展吗？"是以偶尔被拒也不要紧。咱们把它放上 arXiv，东谈主们读它、用它，切齐好。

咱们确乎在用蒸馏本领作念咱们的 flash 模子，从大范围的 pro 模子蒸馏出来，这等于为什么咱们的 Gemini flash 模子在同等范围和速率下如斯有竞争力。

Diana：你 1999 年加入 Google 时，它还只是个 20 东谈主的初创公司。淌若把年青的 Jeff Dean 从那时传送到现在，以你的技巧，你会若何作念？你会加入前沿实验室，如故创办公司？

Jeff：对我来说，要害的问题是：你要作念的这件事，是你信得过介怀的吗？淌若你能和群你可爱同事的同事起取得进展，这件事能以某种积的式改变宇宙吗？你应该奋勉的是：对宇宙产生积的影响，和你可爱的东谈主起职责，奋勉职责、作念到好。

至于加入前沿实验室如故创办两三个东谈主的小公司，那是不同的体验。

在大机构里，有无数出的同事，有无数道理的问题，而且你如故有了个平台不错让你的职责影响宇宙上许多东谈主。

而作为个袖珍初创公司，你须有你充满关心的东西，而且承担这个特定问题的风险很大，但这也不错怀念常有报恩的。

论你走哪条路，问我方：淌若我解决这个问题，好的成果发生了，宇宙会变得好许多吗？如故宇宙会说"哦，挺酷的，但所谓"，这就不值得你花时刻。

Diana：你直是许多工程师的师和管制者，也构建了遍及的系统。若何和明智东谈主作、若何找到明智东谈主，有什么劝诫？

Jeff：你老是想找到在你需要的域有信得过出技巧的东谈主，但你也想找到你乐于与之相处的东谈主，因为你会花无数时刻和他们起解决相等清贫的问题。你想要低自我、有团队精神、技巧与你互补的东谈主。

我老是以为，在个小团队里，别东谈主知谈我不知谈的东西，而我也有些别东谈主不具备的技巧，这道理，因为你们在共同构建个你们任何个东谈主齐法立完成的东西。在这个过程中，你执行上获取了无数新学问、新技巧，他们也样。

你应该把我方的工程或推断行状生涯看作条装满本领的器具带，你总想往上头加新器具，因为你恒久不知谈什么时候会遭遇个问题，添增多器具使得你来日遭遇的问题有可能被你解决。

Diana：我特殊细目在座有东谈主终会构建出像你作念的 MapReduce、TPU、蒸馏等样有影响力的东西，你但愿他们在推断什么问题？

Jeff：我尽头怡悦的是硬件的新法，或者的理硬件。我认为可能有根柢不同的机器学习算法，比咱们今天用的法数据率得多。今天的模子，它们看到的数据量可能是个 18 岁的东谈主能看到的千倍。但个 18 岁的东谈主，在许多事情上比那些看到了多数据的前沿模子捏平甚而好。

是以你能不可想出数据的系统，能从我方的行为中捏续学习？捏续学习是个相等道理的向，多 Agent 交互也很道理。创造让东谈主们好地对话的式，匡助宇宙各地的东谈主们把柄好奇爱慕好奇爱慕相识互相，这些齐可能很挑升想。宇宙上有许多酷的事情，咱们齐应该去奋勉让酷的事情发生。手机号码：13302071130相关词条:罐体保温     塑料挤出设备     钢绞线    超细玻璃棉板    万能胶

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定上海锚索厂家，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。