英伟达十年将计算边际成本降低100万倍

作者:源中瑞 发布时间:2024-11-25 11:59:56 浏览量:20


11月23日,在香港科技大学周六举行的博士学位授予仪式上,英伟达创始人兼首席执行官黄仁勋被授予工程学荣誉博士学位。授予仪式结束后,黄仁勋与香港科技大学校董会主席沈向洋对话,探讨关于技术、领导力和创业的故事。



以下为对话内容:


黄仁勋回应说,人工智能的发展已经带来了革命性的变化,它不仅能够理解多种数据类型,还能在不同模式间转换信息。他强调了AI在理解信息深层含义方面的重要性,并举例说明了AI在不同领域的应用潜力。


沈向洋进一步探讨了AI对社会的影响,将其与历史上的农业革命和工业革命相提并论。黄仁勋解释了计算机科学的变革,从手工编写软件到机器学习和生成,以及这一转变如何标志着新时代的到来。


黄仁勋还讨论了AI在解决问题自动化方面的三个核心概念:感知环境、理解推理和执行计划。他以自动驾驶汽车和医疗领域的应用为例,说明了AI如何出色地完成特定任务。


沈向洋提出了关于摩尔定律和计算需求增长的问题,黄仁勋回答说,尽管摩尔定律预测了计算能力的增长,但AI的发展速度甚至超过了这一预测。他强调了“规模定律”的重要性,并讨论了预训练、后训练和测试时间计算的概念。


沈向洋询问了黄仁勋对香港科技大学的建议,黄仁勋强调了AI在科学领域的价值,并提出了创建人体生物学数字孪生体的想法。他还鼓励香港科技大学利用其技术和创新优势,建立一个与技术紧密相连的医学院。


在领导力方面,沈向洋询问黄仁勋如何领导英伟达这样的大型组织。黄仁勋分享了他的领导心得,包括不断学习、拥抱不确定性和以使命为中心的决策。


沈向洋还询问了黄仁勋对于团队合作的看法,黄仁勋强调了透明度和共同决策的重要性。


最后,沈向洋提出了关于能源消耗和环境影响的问题,黄仁勋回应说,AI的目标是应用模型,而不仅仅是训练,他相信AI能够帮助发现新的科学成果,从而节省能源。


沈向洋对黄仁勋的观点表示赞同,并讨论了大湾区在硬件生态系统方面的巨大潜力。黄仁勋认为,大湾区在机电一体化和人工智能方面的独特优势,为机器人技术的发展提供了绝佳机会。


沈向洋:你为我们勾勒了一幅充满希望的光明未来,而这在很大程度上得益于你和英伟达在过去十多年间对该领域的卓越贡献。摩尔定律在业界一直备受瞩目,而近年来,“黄氏定律”逐渐为人们所熟悉。在早期的计算机行业中,英特尔提出的摩尔定律曾预言计算能力每18个月翻倍。然而,在过去10到12年间,特别是在你的引领下,计算能力的增长速度甚至超越了这一预测,实现了每年翻倍甚至更高速度的增长。


从消费端观察,大语言模型在过去12年里的计算需求每年都以四倍以上的速度激增。若以此速度持续10年,计算需求的增长将是一个惊人的数字——高达100万倍。这也正是我向他人阐释英伟达股价在过去10年间上涨300倍原因时的重要论据。考虑到计算需求的这一巨大增长,英伟达的股价或许并不显得高昂。那么,当你运用你的“水晶球”预测未来时,你认为在接下来的10年里,我们是否还会见证计算需求再次实现100万倍的增长呢?


黄仁勋:摩尔定律依赖于两个核心概念:一是超大规模集成电路(VLSI)的设计原理,它是受到我、加州理工大学的卡弗·米德教授(Carver Mead)以及林恩·康威教授 (Lynn Conway )的著作启发的,这些著作激励了整整一代人;二是随着晶体管尺寸的不断缩小,我们得以每隔一段时间就将半导体的性能提升一倍,大约每一年半就能实现一次性能翻倍,因此每五年性能提升可达10倍,每十年更是能提升100倍。


我们正身处一个趋势之中:神经网络的规模越大,用于训练的数据量越多,AI似乎就表现得越智能。这一经验法则与摩尔定律有着异曲同工之妙,我们不妨称之为“规模定律(Scaling Law)”,且这一定律似乎仍在持续发挥作用。然而,我们也清醒地认识到,仅仅依靠预训练——即利用全球范围内的海量数据自动挖掘知识——是远远不够的。正如大学毕业是一个至关重要的里程碑,但它绝不是终点。接下来,还有后训练阶段,也就是深入钻研某一特定技能,这要求强化学习、人类反馈、AI反馈、合成数据生成以及多路径学习等多种技巧的综合运用。简而言之,后训练就是选定一个特定领域,并致力于对其进行深度钻研。这就像当我们步入职业生涯后,会进行大量的专业学习和实践。


而在这之后,我们最终会迎来所谓的“思考”阶段,也就是所谓的测试时间计算。有些事情你一眼就能看出答案,而有些则需要我们将其拆解成多个步骤,并从第一性原理出发,逐一寻找解决方案。这可能需要我们进行多次迭代,模拟各种可能的结果,因为并非所有答案都是可预测的。因此,我们称之为思考,且思考的时间越长,答案的质量往往越高。而大量的计算资源将助力我们产出更高质量的答案。


虽然今天的答案已是我们所能提供的最佳结果,但我们仍在寻求一个临界点,即所得到的答案不再局限于我们当前所能提供的最佳水平。在这一点上,你需要判断答案是否真实可靠、是否有意义且明智。我们必须达到这样一个境界,即所得到的答案在很大程度上是值得信赖的。我认为,这还需要数年的时间才能实现。


与此同时,我们仍需不断提升计算能力。正如你之前所提到的,过去十年里,我们将计算性能提升了100万倍。而英伟达的贡献在于,我们将计算的边际成本降低了同样的幅度。想象一下,如果生活中有你所依赖的事物,如电力或其他任何选择,当它的成本降低了100万倍时,你的行为习惯将会发生根本性的变化。


对于计算,我们的看法也已经发生了翻天覆地的变化,而这正是英伟达有史以来最伟大的成就之一。我们利用机器去学习海量的数据,这是研究人员无法单独完成的任务,而这正是机器学习能够取得成功的关键所在。


沈向洋:我迫切希望听听你的看法,香港在当前机遇中应如何作为。现在,一个特别令人兴奋的事情是“AI for Science”,而你对此一直抱有极大的热情。香港科技大学已经投入了大量的计算基础设施和GPU资源,我们特别重视推动各院系之间的合作,如物理与计算机科学、材料科学与计算机科学、生物学与计算机科学等领域的交叉融合。你之前也深入探讨了生物学的未来。另外,值得一提的是,香港政府已决定建立第三所医学院,而香港科技大学是首个提交这个提案的高校。那么,对于校长、我本人以及整个大学而言,你有什么建议?


黄仁勋:首先,我在2018年的超算大会上曾介绍过人工智能,但当时遭遇了诸多质疑。原因在于,那时的人工智能更像是一个“黑箱”。诚然,时至今日,它依然在一定程度上保持着“黑箱”的特性,但已比过去更加透明。


比如,你我皆为“黑箱”,但现在我们可以向AI发问:“你为何提出这样的建议?”或者“请逐步阐述你得出这一结论的过程。”通过此类提问,AI正变得愈发透明和易于解释。因为我们可以借助问题来探究其思考过程,正如教授们通过提问来洞察学生的思考过程一样。重要的不仅仅是获取答案,更在于答案的合理性以及是否基于第一性原理。这在2018年是无法做到的。


其次,AI目前尚未能从第一性原理中直接得出答案,它是通过观察数据来学习和得出结论的。因此,它并非模拟第一性原理的求解器,而是在模仿智能、模仿物理。那么,这种模仿对科学而言是否有价值呢?我认为,其价值无可估量。因为在众多科学领域,我们虽然理解第一性原理,如薛定谔方程、麦克斯韦方程等,但面对大型系统时,我们却难以模拟和理解。因此,我们无法仅凭第一性原理进行求解,这在计算上存在局限,甚至是不可能的。然而,我们可以利用AI,训练它理解这些物理原理,并借助其模拟大型系统,从而帮助我们理解这些系统。


那么,这种应用具体在哪些方面能够发挥作用呢?首先,人体生物学的尺度从纳米级开始,时间尺度则跨越纳秒至年。在如此宽广的尺度和时间跨度上,使用传统求解器是根本无法实现的。现在的问题是,我们能否利用AI来模拟人体生物学,以便更深入地理解这些极其复杂的多尺度系统?


这样,我们或许可以称之为创建了一个人体生物学的数字孪生体。这正是我们寄予厚望之处。如今,我们或许已拥有了计算机科学技术,使数字生物学家、气候科学家以及处理异常庞大复杂问题的科学家们能够首次真正理解物理系统。这是我的期望,希望在这一交叉领域能够实现这一愿景。


提及你们的医学院项目,对于香港科技大学而言,一所与众不同的医学院即将在这里诞生,尽管这所大学的传统专业领域是技术、计算机科学和人工智能。这与世界上绝大多数医学院截然不同,它们大多是在成为医学院后,再尝试引入人工智能。


互联网应用定制服务商

源中瑞科技是一家专注于互联网与移动互联网领域的软件研发团队

联系定制
联系我们
深圳市福田区福中一路1001号生命保险大厦
138 2653 5007
ruiec@ruiec.com
了解更多请关注我们
深圳源中瑞科技有限公司 Copyright 2011 - 2024 http://www.ruiec.com/ All rights reserved粤ICP备11077838号 深圳市市场监督管理局企业主体身份公示