黄仁勋最新访谈全文：自曝每天使用ChatGPT
来源：腾讯科技
在Arm携手美国全国公共媒体（NPM）精心打造的定制化播客系列《Tech Unheard》的首秀中，英伟达首席执行官黄仁勋作为特邀嘉宾接受了Arm首席执行官雷内·哈斯（Rene Haas）的独家专访。哈斯对黄仁勋赞誉有加，认为他是一位名副其实的远见卓识者。
访谈期间，哈斯与黄仁勋深入交流了后者的个人创业历程、人工智能的未来前景，以及英伟达如何通过其独特的持续创新精神与勃勃雄心，不断推动技术边界的拓展。此外，黄仁勋还阐述了如何重塑英伟达使其聚焦于系统芯片领域，并引领人工智能的工业革命的幕后故事，同时他还表达了对创新步伐能够进一步加速的渴望。
《Tech Unheard》播客系列共计12集，哈斯将邀请行业领袖与政策制定者进行一对一的深度对话，分享他们的独到见解、精彩故事以及对未来的展望。该系列自美国当地时间2024年10月9日起，每月播放一集，内容涵盖从人工智能的未来展望到构建当今顶尖技术与运营企业所需的思维模式。
以下为哈斯与黄仁勋对话全文：
01 如何招募合适的员工和高管？
哈斯：英伟达如今已发展得如此庞大，关于你们的招聘我一直很好奇的是，你们是如何在众多候选人中识别出那些将在英伟达取得成功的人呢？毕竟，你们的公司文化独特，行事风格也别具一格。
黄仁勋：说实话，我们在这方面并不总是能做得完美，这确实需要一些运气。我认为传统的面试过程并不总是判断一个人是否适合的好方法。毕竟，每个人都可以通过观看YouTube上的面试技巧视频来准备一场看似建设性的对话。当然，技术问题是可以提前准备的，甚至有人分享过英伟达的技术面试题。我们尽量让面试显得既严格又具有挑战性，但说实话，这仍然很难准确评估一个人。因此，我的方法总是回到背景调查，我会去了解他们过去的工作经历和表现。
我之所以这么做，是因为一个人可以制造一个好的瞬间，但很难长期隐藏自己的过去和真实能力。所以我认为背景调查是一个很好的方法。我还会问一些深入的问题，然后观察他们的推理过程和思维方式。但我认为，英伟达之所以对很多人来说都很成功，一方面是因为我们找到了优秀的人，另一方面更在于我们创造了条件，让这些人在这里能够超越自我，发挥出比他们自认为能做到的更好水平。这很大程度上取决于我们是否透明地解释了英伟达的愿景、战略以及我们的工作方式。我一直很重视这件事，并为此花了很多时间。我们公司一直以透明地解释我们所面临的挑战、机遇以及我们正在执行的战略而闻名。
我们的离职率很低，而且，这是一个非常多元化的环境，有很多背景各异的有趣的人，我们公司的人几乎来自世界上所有伟大的公司。在公司内部，信息流动得非常顺畅，特别是关于公司战略的信息。我一直觉得奇怪的是，有些公司存在很多信息壁垒，员工需要知道很多信息才能参与决策。当然，人们不需要知道所有事情，但他们知道得越多，就越能够代表公司做出明智的决策。所以我尽量保持透明，尽量让人们拥有更多的权力和信息。
因此，
我认为英伟达是世界上最小的大型公司之一，这得益于我们员工不可思议的生产力。我们现在大约有3万名员工，也许现在稍微多一点。他们每天都需要做出数百个决策。如果这3万人在统计上都在朝着一个方向前进，即使他们做出的决策往往是模糊的，但都是出于公司的长期利益考虑，那么这些决策很快就会累积起来产生巨大的正面影响。
哈斯：我一直感到惊讶的是，无论是通过精心挑选还是自然选择，英伟达拥有那些对模糊性高度适应的高级领导者，并且这些领导者会深入到组织的各个层级，这一点至关重要。我想了解的是，这种情况是如何形成的？是不是随着公司的发展，你逐渐找到了一批与你的愿景相契合的高管，从而形成了这样的氛围？因为在英伟达，很多现在身处高层的管理者，在我还在这里工作或他们还在这里任职时，就完全接受你会四处寻找合适的人来解决问题的做法。
黄仁勋：首先，我并没有特意去征求他们的意见。因为对于显而易见的事情，你不应该请求许可。英伟达从一开始就被定位为一个全栈计算公司，我们的目标是制造GPU、CPU和网络芯片，甚至包括交换机。同时，我们还要负责芯片架构和设计、系统软件的开发、算法的创建，甚至是求解器的开发。
那么，如何组织这样一个既需要各部分协同工作，又需要分步骤构建的整体呢？我们的解决方案是，不设立组织壁垒，而是将组织视为一个领导者可以培养人才、为他们创造成功条件、提供服务、帮助他们排除障碍的平台。但关键在于，老板需要坚守使命，这个使命要贯穿整个公司。
因此，它可以跨越系统、芯片、网络芯片、软件和算法等各个领域。通过这种组织方式，我们还实现了透明度，所有的壁垒都变得具有渗透性。当组织具有渗透性时，它往往会变得更好，因为会有更多的人来帮助你批评它、证明它。所以，我喜欢这种渗透性，如果你愿意的话，也可以称之为我们公司的开放性。我就喜欢一切都很透明，大家共同努力让它变得更好。这与一切都被封闭在黑暗的壁垒中截然不同。
02 为何放弃Arm选择并购Mellanox？
哈斯：英伟达曾差点收购了Arm，但最终，你们选择了收购Mellanox，这不仅是一次战略上令人瞩目的收购，而且从执行层面看，对于一个注重渗透性的组织来说，这次收购似乎无缝衔接，进行得异常顺利。你是如何做到这一点的？我是说，并购通常都很难，你是如何让这次并购如此顺畅的？
黄仁勋：确实，文化融合总是并购中的一大挑战。但幸运的是，在Mellanox的管理团队和英伟达以色列的管理团队中，有多位我们的E-staff（执行团队）成员。我们涵盖了架构、研发、软件系统、芯片、网络和交换机等多个领域，现在还加入了NVLink交换机业务。在合并后的短时间内，Mellanox的产品组合迅速扩展了四倍，并且已经深度融入到我们业务的各个方面。回顾这次收购，你可以看到我们的愿景是如何推动这一切的。我们意识到，计算单元不再仅仅是像GPU这样的外设，而Arm在很大程度上帮助我们完成了向构建SoC（系统级芯片）公司的转型。你还记得SoC吗？它基本上就是一台完整的计算机，而GPU只是其中的一部分。在SoC中，你必须自己负责整个系统的启动。因此，这促使英伟达从一家以算法为核心的公司（这实际上是GPU公司的本质）转变为一家真正的计算公司。这是我们的首次尝试，一开始并不容易，但现在我们已经能够制造出令人惊叹的SoC产品。
接下来，我们的发展方向是构建系统。DGX-1是我们的第一个系统级产品。事实上，我仍然对SHIELD情有独钟，那是我们的Android TV电脑，我非常喜欢它，因为它是我们创造的第一个完整的英伟达系统。从SHIELD到DGX-1，我们学到了很多。直到今天，我们仍然在维护SHIELD软件的更新。
这正是英伟达向系统公司转型的开始。人们有时会问我DGX-1是怎么来的，它如何改变了一切。其实，DGX-1只是一个大型的SHIELD。SHIELD是用塑料做的，而DGX-1重达600磅（约272千克）。这种转变对我们来说并不是什么大问题，因为我们已经有了制造系统的经验。真正重要的是，我们现在能够构建完整的系统。当我们收购Mellanox时，我们的主要想法是计算机将不再是单个节点，而是整个数据中心将成为计算的单元。如果你没有设计GPU、CPU、网络接口卡（NIC）、交换机以及所有的收发器，并且无法把它们连接在一起，从无到有地启动整个系统，让一切连接起来并运行起来，把工作负载分布到各个部分，那么你就不会真正理解构建这些人工智能超级集群以及这一转型的意义所在。
这个愿景非常清晰，对于激励两支团队来说至关重要。为了激励团队，你必须有一个明确且令人振奋的愿景。我们就有这样的愿景，而且它非常切实可行，因为你可以亲眼看到它就在眼前——超级集群以及从两家公司获得的所有设备。那个愿景既清晰又鼓舞人心，我们必须让它变得切实可行。作为首席执行官，你们必须把抽象的事物具体化，然后我们开始着手构建它。此外，我还觉得Mellanox的企业文化非常出色，这也是我们并购能够顺利进行的重要原因之一。
哈斯：这种清晰度对于推动公司发展的确非常有帮助。再回到愿景这个话题，当我讲述公司故事时，我还注意到另一件事。比如SHIELD和早期的CUDA在石油和天然气领域的应用，当时这些应用的终极形态或市场潜力并不明显。
黄仁勋：确实，很多人并没有意识到这些应用的潜力。事实上，那都是我们的初步尝试。
哈斯：在当时，很难看出这些尝试会演变成什么真正的杀手级应用或最终形态，但你们展现出了令人难以置信的韧性和决心，在早期就去尝试并测试各种想法，即使市场似乎还没有准备好，或者应用场景还没有被明确定义。你把这种能力归功于什么？是惊人的直觉吗？还是预见未来的能力？
黄仁勋：英伟达的优势在于我们身边聚集了很多杰出人才，他们是世界上最优秀的计算机科学家、战略家和商业人才。他们不仅个人能力出众，更重要的是，他们没有个人主义倾向，都渴望为公司创造更大的价值。我认为，我们的成功首先是从这一点开始的。其次，我们在直觉方面也很擅长。我们对于需要解决什么问题，以及如何从现在走向我们想要成为的公司，都有很好的直觉。因此，我们能够准确地判断出各种阶段性目标。
当我们决定开发SHIELD时，很多人都不理解，认为我们在浪费时间。但我告诉他们，我们总有一天会成为一家系统公司。而SHIELD就是我们向这个目标迈进的第一步。所有这些系统都将连接到云服务。为什么我们不先从最大的系统入手呢？为什么我们不首先开发这样的系统呢？如果我们连这个都做不到，那更大的系统我们也做不出来。我们希望通过开发这样的系统，让公司学习到新的技能，去尝试、去失败，但又不至于伤筋动骨。这样，我们才能为未来的挑战做好充分的准备。
03 创始人模式 VS 经理人模式
哈斯：你是否认为，只有创始人领导的公司才能像你刚才描述的那样，既拥有清晰的愿景，又具备持续明确前进方向的韧性呢？因为最近关于创始人模式与经理人模式的讨论很多，而你作为一位领导公司30年的创始人，已经取得了巨大的成功。但是，你所描述的这些，只能由创始人领导的公司做到吗？
黄仁勋：我并不这么认为。我觉得你在Arm就做得很好。你知道，每当我目睹你工作时，我的心中便充满了无比的自豪感。我非常享受观察你工作的过程，这总能带给我极大的喜悦与骄傲。我深信，要想在工作上有所建树，必须具备坚韧不拔的精神和坚定不移的毅力。我愿将其形容为历经痛苦与磨难的洗礼。在诸多方面，你必须学会去适应这样的现实：成功之路绝非坦途，而是布满了痛苦与磨砺。它并非一系列成就的轻松累积，而是需要付出巨大的努力与坚持。
我当然希望一切都能发生，因为这无疑会对你大有裨益。然而，回顾那些充满挑战的时刻，尽管当时我可能并未完全意识到从中学到了什么，但它们确实使我变得更加坚强。我深知自己能够克服一切困难，尽管在经历时可能并不喜欢那种感觉。然而，当我回首往事，那些艰难的时刻恰恰是我成长的见证，也是你与公司最为自豪的时刻，因为我们共同挺过了那些难关。因此，我认为我们的公司之所以强大，正是因为我们拥有众多这样的励志故事。在公司的每一个角落，都流传着无数次历经挫折却最终取得非凡成就的动人故事。它们如同宝贵的财富，助力公司度过了一个又一个艰难时期。
04 期待计算机能够展现出智能行为
哈斯：我们都已经在这个行业中拼搏多年，关于人工智能的发展，我有种感觉，仿佛有些场景是我之前从未设想过的。我甚至觉得，这种转变可能要到下一代才能完全体验到。这种感觉就像是触碰到了《星际迷航》中的未来边界，就我的认知而言，我难以想象在人工智能如此广泛应用的未来之后，还会有什么新的变革。你对此有何看法？我们是否正在以惊人的速度推动行业的转型，而这场转型之后又会迎来什么呢？眼前所发生的一切，真是令人难以置信。
黄仁勋：我一直都对计算机能够展现出智能行为抱有期待。我们有能力创造出如此卓越的软件，我认为我们终将编写出那样的软件，让算法以看似智能的方式解决问题，仿佛计算机真的拥有了智慧。然而，我从未预料到这会引发一场工业革命。我曾多次提及，如今的计算机行业已经超越了传统范畴，它不再仅仅是一个工具或器具，而是成为了一个全新的制造业。
在我与你交谈的此刻，我的手机静静地躺在口袋里，并未被使用；我的笔记本电脑也安静地待在办公室里。大多数人的电脑也是如此，只有在需要时才会被启用。但与此不同的是，这个新的人工智能产业，即我们正在构建的产业，它们始终在运行。无论你是否在使用它们，它们都在不断地处理数据、生成Token，并在这一过程中产生智能。智能正在被大规模地制造出来。曾经，计算机只是一个工具或器具，而现在，它已经成为了一个工厂，一个能够大量生产极具价值物品的制造业。这对我们的行业来说，无疑是一个全新的时代。这是前所未有的变革。计算机现在成为了制造工具，是那些被称为Token、特别是智能Token的惊人成果的创造者。这是一个非凡的观念。因此，我认为我们正站在一场新工业革命的起跑线上。
哈斯：计算机行业的发展步伐是否超越了你原先的预想？作为这一领域最接近前沿的见证者，从AlexNet到DGX-1的每一次创新飞跃，你都亲历其中。自从我接手Arm以来，我们也在内部对此进行了深入的探索，发现其进步的速度远远超出了我两年半前乃至一年前所能想象的范畴。那么，对于你亲身参与推动的这一切，你是否觉得它的发展比预期中还要迅猛？
黄仁勋：并非如此，我们实际上正在竭力加速其发展的步伐。我们的研发周期已经成功地缩短至一年，这一决策的背后，是源自于对这项技术拥有巨大发展潜力的深刻认识。而且，我们现今的努力已远远超越了单纯制造芯片的范畴。我们深知，即便在最新的制程节点上，芯片的性能提升也仅仅是几个百分点的量级，但这已是极为不易的成就。那么，我们如何确保每一代产品都能实现性能的显著飞跃呢？答案是，我们为每个系统设计了六到七款全新的芯片，并通过协同设计的方式，对整个系统进行彻底的革新，同时创造出诸如NVLink交换机和新型系统机架等革命性的发明。这些创新使得我们能够在系统背部的主干上，利用铜质导线将所有GPU紧密相连，从而实现了前所未有的大型封装和3D封装技术。
我们运用了多种先进的技术手段来实现这一目标。因此，我们得以在相同的能耗和成本约束下，每年提供两到三倍的性能提升。这实际上意味着，我们每年都在以远超摩尔定律的速度降低人工智能的成本。若将这种复利效应持续五年、六年乃至十年，我们将会见证智能成本以令人惊叹的速度下降。我们之所以如此全力以赴，是因为我们坚信，现在正是所有人深刻认识到其价值的关键时刻。如果我们能够大幅度地降低智能的成本，那么我们就可以在诸如推理等需要时间的场景中实现更多的可能。
当你今天使用ChatGPT这个令人赞叹的服务时，我也每天都在使用它。今天早上我就体验了它的魅力，你按下回车键，提示被迅速加载，随后它便生成了输出。但在不远的将来，它将通过迭代推理的方式寻找答案，或许还会采用树搜索等复杂方法，甚至进行某种形式的迭代和反思，最终呈现出更加优质的输出。在这个过程中，它可能已经进行了上百次、上千次的推理，但答案的质量却会显著提升。我们渴望降低成本，以便在保持原有成本和响应速度的同时，提供这种新型、高效的推理推断服务。
哈斯：我曾亲眼目睹OpenAI模型的演示，其推理能力着实令人震撼，正如你所描述的那样。它仿佛经历了一棵逻辑树的探索，展现出与人类相似的权衡过程，但其速度却远超人类。然而，当我深入思考当前正在发生的变革时，我深感着迷。正如你所言，你正在以前所未有的速度引入全新的系统、数据集以及基础设施。过去，人们每两三年购买的CPU最终都会面临贬值。而现在，你却以每年一次的频率构建新的系统。人们迫切希望尽快采购并部署这些系统。
黄仁勋：虽然说起来简单，但我们每年都在交付像这个房间一样庞大的新型计算机，包括所有的布线、网络、交换机和软件。这确实令人难以置信。
哈斯：你明白我的意思吗？我并不是在让你预测未来。这更多是一个关于技术普及的问题。它能否保持当前的发展速度继续前行？
黄仁勋：我认为可以。但这必须以一种系统化的方式进行，也就是说，我们所做的每一项工作，都是基于一种架构思维。这意味着，为昨天的集群（例如Hopper）开发的软件，将能够无缝地在Blackwell和Rubin上运行。同样，为Rubin创建的软件，也将能够在Hopper上运行。这种架构兼容性至关重要，因为行业在软件上的投资远超硬件，甚至达到上千倍。更不用说，软件具有永恒的生命力。一旦开发或发布了软件，就必须在其整个生命周期内进行维护。CUDA的理念并非为了让数百万人学习编程，而是为了让数百万个GPU能够与之兼容。
因此，你在一个GPU上的投资，将能够延续到所有其他GPU上，而你今天编写的软件，在明天将会变得更加出色。我们未来编写的所有软件都将在已安装的基础设施上运行。因此，首先，我们必须具备架构意识，并且对此保持高度的自律。其次，即使在系统层面，我们现在也极具架构意识。我们会采用新的技术来推动系统设计的发展，同时确保不会放弃你昨天所做的工作。例如，当我们首次进入数据中心业务时，一个超大规模数据中心的配电是每个机架12千瓦，而到了Blackwell时代，每个机架的配电已经达到了120千瓦。密度提升了十倍，这意味着数百万美元的服务器被压缩到了一个机架中。因此，所节省的金额、能源和空间都是难以估量的。
哈斯：我们的故事有着诸多相似之处。Arm架构历经30载，我们为其倾注了数十年的心血软件编写，这一点有时并未得到人们的充分理解。
黄仁勋：对于每一块Arm芯片，我们所做的每一项工作都备受关注。前几天，我们刚展示了一些成果。有基准测试显示，Grace在每瓦性能上比全球顶尖的CPU高出四倍，这凸显了能源效率的重要性，它无处不在，至关重要。
哈斯：当你从500兆瓦的数据中心规模扩展到5吉瓦时，从网络延迟等相关因素考虑，你是否观察到某些架构层面的问题开始浮现？当然，我们无需深入探讨具体技术细节，但从物理学的基本原理出发，你是否发现了一些开始不再适用的东西？
黄仁勋：确实，一切都会失效，因为物理定律是铁律，无法违背，而失效是必然的过程。当然，我们正沿着功率密度曲线迅速攀升，增长态势呈指数级。从12千瓦到40千瓦，再到120千瓦、200千瓦，甚至更高，我们不断压缩、密集化计算资源。在此过程中，液冷技术的效率显著提升。同时，我们尽可能延长铜线的使用寿命，因为只要条件允许，使用铜线传输电力就更为有利，无需在电信号和光信号之间转换。尽管最终我们不得不转向光学技术，但我们会尽可能长时间地利用电信号的优势。在大多数数据中心中，使用电信号在成本效益、能源效率和可靠性方面更具优势。因此，我们选择了密集化策略。密集化的另一个显著优势是，特定机架或相邻机架中的所有GPU可以作为一个巨型GPU协同工作，这确实令人惊叹不已。
05 没时间练习演讲，只能硬着头皮上
哈斯：我一直很好奇，记得你在Computex的演讲内容之丰富简直令人叹为观止，尤其是我观看的时候还是周日晚上。作为另一个经常做演讲但无论是深度还是长度都远不及你的人，我很想知道你是如何做到这一点的。你是否进行了大量的排练？我记得我们以前共事时，有时甚至在演讲前一晚你还在调整内容，但你总是能出色地完成演讲。现在，你的演讲内容之深入，特别是当涉及到数据中心架构的详细阐述时，你的准备过程是怎样的？
黄仁勋：其实，我们每天都在为这样的演讲做准备。你知道吗，我们的工作有一个独特的优势，那就是我们不是专业的演员。所以，这些内容真的是我们日常工作的真实反映。我们每天都沉浸在这些领域里。首先，我们每天都在学习和准备。但很多时候，我们做的事情，坦白说，都是在教学。为了推动一个行业的发展，为了塑造市场，并引入我们正在探索的新理念，其中很多都涉及到教学的成分。这不是在做广告，你明白吗？我们是一家平台公司，这意味着我们不能单打独斗。我们需要其他人的合作与支持。所以，我们的工作就是教学、启发、展示，也许还有演示，希望越来越多的人能够相信CUDA，相信英伟达在加速计算领域的实力，今天就能加入我们的行列，共同推动人工智能的发展。我们现在正在研究的下一个重大项目是物理AI，以及我们如何让人工智能一方面学习遵守物理定律，另一方面又能深入理解这些定律。我认为这将是一个漫长的旅程。所以，GTC和Computex这样的活动对我们来说，都是进行这些工作的重要机会，庆祝我们的生态系统以及合作伙伴所取得的成就，向他们传授我们的理念，激励他们展望未来。
哈斯：这确实很相似。当我做QBU演讲时，我的首席助理会说：“哇，这些幻灯片好简洁啊！”但其实这就是我整天都在谈论的内容。我在想，怎么可能不这样呢？
黄仁勋：说实话，这仍然很有挑战性。因为我们没有专门的时间去排练。所以，这并不是因为我们故意不排练，等到我们把所有的内容都准备好之后，通常就没有多余的时间去排练了。因此，最后我只能硬着头皮上。