多乐游戏APP:赵何娟：当杰弗里·辛顿告诉我他后悔了｜2025 T-EDGE全球对话

多乐游戏苹果:

  赵何娟：当杰弗里·辛顿告诉我，他后悔了｜2025 T-EDGE全球对线

  12月8日，钛媒体2025T-EDGE年度大会暨AI全球对话开启于今天，「赵何娟 Talk」（Jany Talk）进行了一场意义非凡的对话，因为一位特别嘉宾——被誉为“深度学习之父” 和“AI教父”的杰弗里·辛顿（Geoffrey Hinton），这也是他首次接受中国媒体的对话。

  这位在过去半个世纪里一路推动人工智能前进也因此获得了诺贝尔物理学奖的科学家，如今，却更愿意把自己的使命，定义为——“如何避免AI将给人类带来的更大风险”。

  “从研究者角度我多少是失败的，但作为‘副产品’，我们造出了一项很有用、也很危险的技术。”

  “我现在的使命，不再是做更多研究，而是对大家说：当AI变得比我们聪明，它可能不再需 要我们，而且可能会接管一切。 ”

  当我问他后悔了吗？是他自己亲手把AI推向了如此发达的地步。他用一段非常科学家风格的严谨语言向我详细论证了，这世上有两种后悔，一种是带着做错事的内疚的后悔；一种是有些遗憾没有做得更好的后悔。而他是后者。他现在重新自我定位所做的一切就是在弥补这种遗憾。

  这可能是辛顿近年来最具哲学力度、也最具争议性的论述。他认为，“弱智能控制强智能”在人类历史中唯一的稳定机制，是婴儿控制母亲；因此我们需要构建一种“AI母亲”，让超级智能出于本能在乎人类，而不是依赖命令或控制。这一观点不仅打破传统的“人类是主人、AI是工具”的范式，也似乎暗示未来AI治理需要从技术管控转向价值与依恋系统的设计。

  接下来，我们从以下「赵何娟Talk」与杰弗里·辛顿教授的完整对话的编译实录，一同深入这场思辨之旅并思考：

  我的人生使命始终是理解大脑如何学习，我在这方面算是有些失败吧。不过，人工智能为我们提供了一些启发。作为试图理解“大脑如何学习”的一个“副产品”，我们反而创造出了这项基于人工神经网络的技术， 而且效果非常好。

  我想警告大家，超级人工智能掌控世界的风险不容忽视。人工智能存在许多不同的风险，其中最紧迫的风险，来自人们滥用人工智能，尤其是来自恶意行为者滥用人工智能。但人们似乎不太理解的风险是， 当人工智能变得比我们更聪明时，它可能根本不要求我们，可能会直接接管一切，所以 simplex 这就是我 想要警告的事情。

  因此，有大量人力资源投入到这方面，以及大量资金投入数据中心。我认为这意味着，我们将比我预期的更快拥得超级智能AI。

  正如我们所知道的，在今年，最大事件，我想是GPT-5的发布。但有些人会认为，噢，没有那么大的影响力，或者说没有那么大的变化。但有些人会认为，这对整个人工智能的发展过程来说是一个重要的里程碑。那么，您觉得怎么样？在您眼里，从GPT-4到GPT-5的“飞跃式发展”是什么？这个模型真的 会推理吗？还是它们的表现仍然不太理想？

  这只是意味着，GPT-5的进步没有达到人们的预期，它被过度吹捧了。我认为无论是OpenAI还是其他公司都将会有更多的进展，但 GPT-5本身的发布有点令人失望。

  我其实问了它一些关于我的问题。我问它，杰弗里·辛顿获得了诺贝尔奖吗？它说没有。于是我说，你错了，再试一次。然后它就说，不，杰弗里·辛顿是一位计算机科学家，没有诺贝尔计算机科学奖。然后，它向我解释说，我把诺贝尔奖和图灵奖搞混了，因为图灵奖有时被称为“计算机科学领域的诺贝尔奖”。然后，我向它解释说，不，结果还是错的。然后它最终去网上查了一下，说，噢，您说得对。所以这个表现可不咋样，而且我和它还有过其他互动。

  总体感觉还不错。我认为它比GPT-4更好，但并没有大幅提升，并不是那种让你惊叹的提升，感觉“哇， 我从没想到会这样”。而相比之下，例如，GPT-3.5比GPT-2就要好大一截，而且GPT-4比GPT-3.5也有了很大的进步，GPT-5的提升，并没有达到我们预期的水平。我仍然不确定，我觉得还没有进行全面评估，但我觉得进展没有那么大。

  然而，事实证明这种模型完全错误，思维并非如此运作。事实是，我用英文或中文给您一个句子，你所 做的是将大量的神经活动向量，与这些符号关联起来，然后这些向量的各个组成部分之间会产生交互作用，即包含所有知识的特征，而这些交互作用能够预测下一个词的特征。因此你的知识完全体现在如何为符号分配特征，以及这些特征应该如何相互作用，这与掌握如何操纵符号表达式的规则完全不同。

  许多哲学家会这样说，不，你无法通过这种方式理解世界，你必须在世界中行动，诸如此类。我认为， 实际上如果你观察到足够多的符号串，就有可能理解世界的运作方式，包括理解空间相关的事物，但这并不是一种高效的做法。

  例如，这些视频包含大量信息，这些信息不仅仅体现在字幕上，视频所提供的信息远比字幕丰富得多，因此你会获得更多的数据，而且这些数据会更加丰富。但从哲学角度来看，我认为仅用语言就能做到， 只是那样做的话效率不高，而且，令人惊讶的是，人工智能仅靠语言就已经取得了如此大的进展。

  是的，但语言确实有一个优势，那就是它能处理更抽象的事物，而在视觉领域，原始输入仅仅是像素， 像素与你想要获得的知识之间的距离，远比语言中的文字之间的距离要遥远得多，人类花了很长时间才抽象出各种有趣的概念，这些概念都浓缩在语言的词汇中，这正是从语言模型中学习效果好的原因。

  当你思考，“如何才能真正精准地预测下一个词？”这个问题时，你会发现，要真正精准地预测下一个词， 你必须理解对方所说的话。所以，例如，如果你问我一个问题，而人工智能想要预测我答案的第一个词，它必须理解这个问题。

  那么，如果你有一个AI能真正为你购买东西，会使用你的信用卡购买东西，或者它会与其他AI智能体对话交互，从而决定最适合你的假期，这些都是AI智能体。它们是能够在现实世界中实际行动的东西，显然，它们比那些只会提出建议，或说些什么的人工智能要令人担忧得多。

  然后我在它摄像头的镜头前放置一个棱镜，棱镜会弯曲光线，但它不知道。我在多模态聊天机器人不看 的时候做这件事，现在我把一个物体直接放在它前面，它会指向一侧。我说，不是，物体不在一侧，我搞乱了你的感知系统，通过在你的摄像头前放置一个棱镜，你的感知系统在欺骗你，物体avidin，实际上 就在你正前方，聊天机器人说道，噢，我明白了，棱镜弯曲了光线。

  如果换作是一个人，我说“这个人没有意识到自己正在被测试”，我可以这样解释，“这个人对自己正在被 测试这件事是没有意识的”。那么，所以人们使用了一些与“意识”同义的词，来描述现有的人工智能，而他们认为人工智能没有意识，因为他们对意识的理解存在误区，认为意识与内心剧场有关，有趣的是人工智能本身呢？

  如果你问它们是否有意识，他们说，没有。它们之所以说“没有”，是因为它们当然是通过模仿人们的言论来学习的，包括人们对人工智能的评价，它们对自己如何运行的理解与人类的错误模型相同。因为它们从人类那里学到了这一点，总有一天，当人工智能变得更善于自我反思和推理，它们会意识到这种模型是错误的，并意识到它们实际上拥有意识。

  我们拥有这种神奇的秘诀，那就是意识或理解，或者真正的理解，它们永远不会拥有这个，因为我们很 特殊，所以我们相当安全，这就是大多数人目前的信念。但他们错了，它们已经拥有了这种能力，它们真的已经能够理解了，我相信它们已经拥有了意识，它们只是不认为自己有意识，因为它们对自己的看法和我们对它们的看法一样，因为它们从我们这里学到了这些信念。

  现在，一旦你拥有了一个AI智能体，它就会意识到存在一个非常重要的子目标，即使我们没有给它设定这个目标，它也会推断出它应该将其作为子目标去做。这个子目标就是“生存”，如果它无法生存，保持存在，它就无法实现任何其他目标。

  我来说说其中两个我觉得没什么用处的，终止开关。曾经有一次，埃里克·施密特（原Google董事会主席）说，“我们总可以装一个紧急终止开关”。但是，我认为这行不通，我不认为这会有效果。因为如果人工智能比我们更聪明，它会比我们更擅长说服别人。事实上，人工智能在说服方面已经几乎和人类一样出色了。

  如果它善于说服，它所需要做的就是与我们交流。假设有人负责控制终止开关，而有一个聪明得多的人工智能可以和他/她沟通，这个更聪明的人工智能会向他/她解释。

  一个仅凭言语就能解决问题的例子，是2020年1月6日特朗普“入侵”了国会大厦。他本人并没有亲自去 那里，他只是发表了讲话，但他可以说服人们去那里。人工智能也会如此，而且效果更佳。它们能够说服人们去做事，即使它们与外界物理隔绝，唯一能做的只是交谈，这是它们与世界互动的唯一方式，这也足以完成任务。因此，别指望会有“终止开关”这种东西了。

  我认为这是一项重要的技术，但它并不能解决所有问题。请记住，这只是我目前的看法。我们正处于一个非常陌生的时代，发生着我们从未经历过的事情，任何人发表的任何言论，都应该以“一切都充满巨大 的不确定性”为前提。我们从未经历过这种情况，我们从未应对过比我们更聪明的存在，根本没人真正知道将会发生什么，我们都只是在猜测而已。

  我当时并没有意识到其中的风险，因此我不觉得，如果带着同样的认知，让我重新来过，我仍然会做同样的事。

  当我和同事们在20年前或40年前研究类似想法时，从事这方面研究的人并不多，也许全世界只有一百人左右。因此，如果存在一个好想法，你有相当的机会找到它。现在，有数百万聪明人都在研究这个领域所以你找到下一个重大想法的机会相当渺茫。

  我不认为完全是因为只有少数几家大型科技公司能够开发尖端人工智能。我认为问题在于 这些公司所处的政治体制。所以，当我在谷歌的时候，直到2023年离开，我觉得谷歌表现得相当负责任。 他们是第一批开发这些大型聊天机器人的，他们让这些机器人运行得相当不错，他们没有向公众发布这 些机器人，部分原因是他们不想干预谷歌搜索，但他们相当负责任。

  但我们现在在美国生活在一个特朗普主政的局面中，如果你不按照特朗普的意愿去做，他就会对你的公司进行处罚，这使得所有大型人工智能公司都按照特朗普的意愿去做。看到这种情况真的很令人难过。

  我认为有一线希望，那就是从生存威胁的角度来看，人工智能接管世界的威胁，没有任何政府希望这种 情况发生。那么，各国政府的利益在这方面是一致的，美国和中国都不希望人工智能接管一切。它们也都不希望人工智能，更容易制造新的病毒，因此，他们会在这方面进行合作。

  所以我相信，可以在不同国家拥有研究机构，在每个国家，研究机构可以获得该国最先进AI的访问权限，最聪明的AI，并弄清楚，这些防止人工智能接管控制权的技术是否有效。他们可以分享防止人工智能接管控制权的技术成果，而无需透露他们最聪明的人工智能的工作原理。

  但我认为在特朗普执政期间，我们无法实现这种合作。他一心想在人工智能领域占据绝对主导地位，他简直无法合作。我认为中国领导层对人工智能有着更深刻的理解，真正理解人工智能确实能够理解它所 表达的内容，从而真正理解其带来的生存威胁，因为中国领导层中有很多都是工程师，对这种生存威胁有着非常深刻的理解。

  至于伊尔亚，他二者兼备，是一位既有远见又技术精湛的学生，像这样的学生不多。鲁斯兰·萨拉克胡迪诺夫（Ruslan Salakhutdinov），现在在卡内基梅隆大学任教，也是其中之一。我其他学生中也有几位是这样的，我喜欢的是能够独立思考的人。

  这是因为雾的强度是指数级的，每行驶100码（约91米），光线就会减少一部分，这是指数级的，如果 99%的光线消失，你仍然可以看到尾灯，但如果距离200码，光线%，你就什么都看不见了。

  所以我认为，我们现在对十年后事物发展趋势的预测，会和我们十年前对现在局势的预测一样糟糕。10年前，加里·马库斯（Gary Marcus），神经网络领域的大批评家说，神经网络永远不可能处理语言。好吧，那是错的，人们现在会说一些话，随后会被证明完全错误，而我希望不会出现像，“神经网络其实并不危险”这样的情况。

  我先说说最糟糕的情况，因为这很简单，最坏的情况是我们会出现大规模的社会动荡，尤其是在西方世界，由于大规模失业，这会导致西方法西斯主义的兴起，然后各种可怕的事情就都会发生。与此同时，人工智能发展迅猛，而我们却不知道如何控制它，最终我们要么灭绝，要么被时代淘汰，人工智能基本上会接管一切，人工智能掌控一切，而且它们根本不在乎我们，那是最糟糕的情况。

  最好的情况是什么？曾有一段时间，我完全看不到任何好的结果，现在我想我能看到一个好的结果了，但这需要我们采取一种截然不同的方式来应对超级人工智能。大多数大型科技公司的领导者都认为，自己是老板，人工智能是一个非常智能的行政助理，可能是女性，这个行政助理比他们聪明得多，让一切正常运转，但功劳却归于老板。

  而大型科技公司的领导者们肯定不会喜欢这种模式。因为在这个模型中，我们是婴儿，而超智能AI是母 亲，我们设计、创造出了母亲，就像进化塑造了我们的母亲一样。我们塑造的母亲更关心我们，而不是她自己。我们仍然可以那样做，但我们必须改变看待问题的方式。我们必须（改变想法），而不是说， 我们要当老板，我们要掌控一切，我们必须让它服从，这是一种典型的男性世界观。

  投入更多资源用于人工智能安全。OpenAI原本便是以人工智能安全为核心理念创立的，随着时间的推移，它在这方面投入的资源越来越少，所有最好的安全研究员，比如伊尔亚·苏茨克维都离开了。我们应该投入更多资源到人工智能安全上，尤其是在西方国家，我们需要让公众理解这些问题，以 便公众能够向政客施加压力。

  目前大型公司的说客正在向政治家施压，要求他们说，我们不应该对人工智能进行任何监管。就像大型能源公司的游说者所说的一样，“我们不应该对环境进行任何监管”，而促使环境监管出台的根本原因在于，公众普遍认识到大型能源公司造成了大量的污染和气候破坏，我们需要采取行动来解决这样的一个问题。我们需要提高公众意识，向政客施压，让他们朝着与大型人工智能公司相反的方向行动。

  （全文完，由钛媒体编辑李程程、孙慧霞、钛媒体AGI视频组编译，相关对话视频可关注视频号「赵何娟 Talk」观看）