计算机科学专家讨论计算能力和创新
数十年来,计算能力的快速增长推动了创新,但在 21 世纪初,研究人员开始敲响摩尔定律正在放缓的警钟。使用标准的硅技术,晶体管的小型化以及可以将多少个晶体管压缩到负担得起的微芯片上都存在物理限制。
Neil Thompson 是麻省理工学院计算机科学与人工智能实验室 (CSAIL) 和斯隆管理学院的研究科学家,他的研究团队着手量化更强大的计算机对改善整个社会成果的重要性。在一份新的工作论文中,他们分析了计算至关重要的五个领域,包括天气预报、石油勘探和蛋白质折叠(对药物发现很重要)。该工作论文由研究助理 Gabriel F. Manso 和 Shuning Ge 共同撰写。
他们发现,这些领域中 49% 到 94% 的改进可以用计算能力来解释。例如,在天气预报中,将计算机能力提高 10 倍可以将提前三天的预测提高三分之一度。
但是计算机的进步正在放缓,这可能会对整个经济和社会产生深远的影响。汤普森与麻省理工学院新闻就这项研究以及摩尔定律终结的影响进行了交谈。
问:您是如何进行这种分析并量化计算对不同领域的影响的?
答:量化计算对实际结果的影响是很棘手的。查看计算能力和 IT 进步的最常见方法是研究公司在计算能力上的支出,并了解这与结果之间的关系。但是支出是一个很难使用的衡量标准,因为它只部分反映了所购买的计算能力的价值。例如,今天的计算机芯片的成本可能与去年相同,但功能也更加强大。经济学家确实试图针对这种质量变化进行调整,但很难准确掌握这个数字应该是多少。对于我们的项目,我们更直接地测量了计算能力——例如,通过查看首次使用深度学习完成蛋白质折叠时使用的系统的能力。通过直接查看能力,
问:更强大的计算机如何改进天气预报、石油勘探和蛋白质折叠?
答:简短的回答是,计算能力的提高对这些领域产生了巨大的影响。通过天气预报,我们发现用于这些模型的计算能力增加了万亿倍。这表明计算能力增加了多少,以及我们如何利用它。这不仅仅是将旧程序放在更快的计算机上的人。相反,用户必须不断地重新设计他们的算法,以利用 10 或 100 倍的计算机能力。在提高性能方面仍然需要大量的人类智慧,但我们的结果表明,大部分智慧都集中在如何利用更强大的计算引擎上。
石油勘探是一个有趣的案例,因为随着时间的推移,容易钻的井越来越难,所以剩下的就更难了。石油公司与世界上一些最大的超级计算机对抗这一趋势,使用它们来解释地震数据并绘制地下地质图。这有助于他们更好地在正确的位置钻孔。
使用计算来进行更好的蛋白质折叠一直是一个长期目标,因为这对于理解这些分子的三维形状至关重要,这反过来又决定了它们如何与其他分子相互作用。近年来,AlphaFold 系统在这方面取得了显着的突破。我们的分析表明,这些改进完全可以通过他们使用的计算能力的大幅增加来预测。
问:进行这项分析的最大挑战是什么?
答:当我们看到随着时间推移而增长的两种趋势时,在这种情况下,性能和计算能力,最重要的挑战之一是理清它们之间的关系是因果关系,而实际上只是相关性。我们可以部分地回答这个问题,因为在我们研究的领域中,公司正在投入大量资金,因此他们正在进行大量测试。例如,在天气建模中,他们不只是在新机器上花费数千万美元,然后希望它们能正常工作。他们进行了评估,发现将模型运行两倍的时间确实可以提高性能。然后他们购买了一个足够强大的系统,可以在更短的时间内完成计算,这样他们就可以在操作上使用它。这给了我们很大的信心。但是我们也可以通过其他方式看到因果关系。例如,我们看到 NOAA(美国国家海洋和大气管理局)用于天气预报的计算能力出现了许多重大飞跃。而且,当他们购买了一台更大的计算机并一次性安装完毕时,性能真的会飞跃。
问:如果没有计算能力的指数级增长,这些进步是否可能实现?
答:这是一个棘手的问题,因为有很多不同的投入:人力资本、传统资本以及计算能力。这三个都随着时间而变化。有人可能会说,如果你的计算能力增加一万亿倍,那肯定会产生最大的影响。这是一个很好的直觉,但你也必须考虑边际收益递减。例如,如果您从没有计算机变为拥有一台计算机,那将是一个巨大的变化。但是,如果您从拥有 100 台计算机变为拥有 101 台计算机,那么这额外的一台并不能带来几乎一样多的收益。因此存在两种竞争力量——一方面计算量大幅增加,另一方面降低边际收益。我们的研究表明,即使我们已经拥有大量的计算能力,
问:摩尔定律放缓会带来什么影响?
答:影响相当令人担忧。随着计算的进步,它为更好的天气预报和我们研究的其他领域提供了动力,但它也改善了我们没有测量但仍然是我们经济和社会的关键部分的无数其他领域。如果改进的引擎放缓,则意味着所有这些后续影响也会放缓。
有些人可能不同意,认为有很多创新方法——如果一种途径放慢速度,其他途径就会弥补。在某种程度上,这是真的。例如,我们已经看到对设计专用计算机芯片作为弥补摩尔定律终结的一种方式越来越感兴趣。但问题是这些影响的幅度。摩尔定律带来的收益如此之大,以至于在许多应用领域,其他创新来源将无法弥补。