人们一直在寻找模式来解释宇宙和预测未来。 “夜晚的红色天空,水手的喜悦。 “晨天红,水手警告”是一句预测天气的谚语。
人工智能非常擅长观察模式并做出预测。现在,微软研究人员正在努力将“基础模型”(利用最新人工智能进步的大型模型)应用于科学学科。与更专业的模型相比,这些模型经过各种数据的训练,可以在许多任务上表现出色。它们有可能在传统所需时间的一小部分内生成答案,并帮助解决更复杂的问题。
一些有望通过人工智能取得进步的截然不同的科学学科包括材料科学、气候科学以及医疗保健和生命科学。专家表示,为这些学科量身定制的基础模型将加快科学发现的进程,使他们能够更快地创造出实用的东西,如药物、新材料或更准确的天气预报,同时也能更好地了解原子、人体或地球。目前,其中许多模型仍在微软研究院开发中,第一个模型,名为 Aurora 的天气模型已经可用。
“人工智能是你的武器库中的一个工具,可以为你提供支持,”微软研究院合伙人兼副主任邦妮·克鲁夫特(Bonnie Kruft)说,他帮助监督其人工智能科学实验室。 “我们的想法是,我们正在研究非常特定于科学的模型,而不是特定于语言的模型。我们看到了这个绝佳的机会,可以超越传统的基于人类语言的大型模型,进入一种新的范式,利用数学和分子模拟来创建更强大的科学发现模型。”
最近人工智能的进步最初是由一类称为大语言模型(LLM)的新型人工智能模型提供支持的,这些进步使人们能够通过一些对话提示来计划聚会或生成图形演示,或获得他们错过的会议的即时摘要。这种类型的基础模型经过大量文本的训练,以执行各种与语言相关的任务。现在,微软研究人员正在探索其中一些相同的人工智能架构和方法如何推动科学发现的进步。
“大型语言模型有两个非常有用的显着属性。第一个当然是,它们可以生成并理解人类语言,因此它们为非常复杂的技术提供了美妙的人机界面。但大型语言模型的另一个属性——我认为这让我们许多人感到惊讶——是它们可以充当有效的推理引擎。当然,这对于科学发现非常有用。”微软研究院 AI for Science 技术研究员兼主任 Chris Bishop 在今年早些时候的微软研究院论坛主题演讲中说道。
起初,人工智能研究人员认为,经过训练来执行狭窄任务的非常具体的模型——比如那些可以在国际象棋或西洋双陆棋(但不是两者)中获胜的模型,或者那些可以翻译语言或转录录音(但不是两者)的模型——会表现得更好更大的广义模型,如法学硕士。但事实恰恰相反——没有必要训练一个模型来回答问题或总结有关法律的问题或总结有关法律的研究,另一个模型用于物理学,另一个模型用于莎士比亚,因为一个大型的通用模型能够在不同的学科和任务中表现出色。现在,研究人员正在研究基础模型是否可以为科学做同样的事情。
传统上,科学发现涉及提出假设、测试它、多次迭代调整它,直到找到解决方案或重新开始,这是一个淘汰不起作用的过程。相比之下,一些基础模型通过构建而不是消除来翻转脚本。科学家可以为基础模型提供参数,例如他们想要的品质,并且模型可以预测可以发挥作用的分子组合。这些模型不是大海捞针,而是建议如何直接制造针。
在某些情况下,这些基础模型还旨在理解自然语言,使科学家可以轻松编写提示。例如,为了寻找一种新材料,科学家可能会指定他们想要一种稳定的分子(不会分解)、不具有磁性、不导电并且不稀有或昂贵。
法学硕士接受文本(文字)培训,但微软研究人员为推进发现而开发的基础模型主要接受科学语言培训,不仅是科学教科书和研究论文,还包括解决这些物理或化学问题所产生的大量数据。方程。
Aurora 将天气和污染预报提升到了新的水平,它接受了地球大气语言的训练。 MatterGen(根据提示建议新材料)和 MatterSim(预测新材料的行为)均接受了分子语言的训练。 TamGen——由微软研究院和全球健康药物发现研究所(GHDDI)合作开发,该研究所开发针对对发展中国家人口影响尤为严重的传染病的药物,重点关注其他分子——用于治疗结核病等疾病的新药和蛋白质抑制剂和新冠肺炎 (新冠病毒)。
正如有些食物最好通过油炸、其他食物通过煮沸和其他食物烘烤一样,不同的科学问题也适合不同的人工智能技术。许多最近开发的人工智能模型都是生成式的——它们根据自然语言请求生成答案和图像。但有些人工智能模型是模拟器,可以模拟某些事物的属性或行为。
然而,这些基础模型中的每一个都是广泛的——材料模型不仅仅试图发现一种材料,而是多种材料,大气模型不仅可以预测降雨,还可以预测污染等其他现象。这种做很多事情的能力是将人工智能模型定义为基础模型的关键。我们的目标是最终将多个模型连接在一起以创建更广泛的模型,因为更广泛、更多样化的模型在其他领域的表现优于更狭窄的模型。
MatterGen 新材料
发现新材料似乎是一个狭窄的领域,但事实上,它是研发的一个巨大焦点,因为它的种类很多——合金、陶瓷、聚合物、复合材料、半导体——而且因为原子可能组合成新分子的数量数十亿。新材料对于减少碳排放的影响以及寻找危害环境或健康的材料的安全替代品至关重要。
英国剑桥微软研究院首席研究经理谢田表示,微软研究院的 MatterGen 基础模型“实际上可以直接生成满足设计条件的材料”。科学家不仅可以告诉 MatterGen 他们想要创建哪种材料,还可以规定了机械、电、磁等性能。
“它为材料科学家提供了一种方法,可以针对他们想要设计的材料种类提出更好的假设,”谢说。
谢说,这比过去的方法取得了进步,因为人工智能在生成材料方面比筛选所有数百万种潜在组合以找到符合科学家标准的组合效率高出三到五个数量级。 MatterGen 从科学家的标准开始并构建解决方案,而不是从每种可能性开始并一遍又一遍地筛选,直到留下一些符合科学家标准的潜在组合。谢说,尽管合成候选新材料的实验室工作是必要的,但它比在实验室中通过反复试验来创造新材料要高效得多、经济得多。
MatterGen 是一种扩散模型,一种已用于图像创建工具的人工智能架构。 MatterGen 不是生成图片,而是生成新材料的分子。几十年甚至几个世纪的实验积累的所有数据都太少,不足以训练基础模型。但由于物理和化学等科学领域遵循完善的数学方程,多次计算这些方程可以创建必要数量的高质量训练数据。该团队使用称为密度泛函理论的量子力学公式为 MatterGen 创建训练数据,在高性能计算上运行,生成约 600,000 个结构。
微软的 MatterGen 研究团队正在与合作伙伴合作验证其生成的一些材料。未来的领域包括回收聚合物和创建可用于碳捕获的金属有机框架的方法。 “到目前为止,我们主要关注无机材料,但未来,我们希望将其扩展到更复杂的材料,”谢说。
MatterSim 用于预测新材料的工作原理
即使在人工智能的帮助下,创造新材料也不是一个简单的过程。 MatterSim 是 MatterGen 的伴侣,用于模拟或预测新材料分子的行为。如果结果不是科学家想要的,他们可以使用 MatterGen 进行迭代循环,以调整 Microsoft Copilot 提示的方式调整输入,直到结果满足科学家的要求。然而,与 MatterGen 不同的是,MatterSim 不是生成式人工智能,而是一个模拟器,可以确定分子在不同温度和压力下的行为。
MatterSim 使用 Graphormer 架构,该架构基于 Transformer 的基本思想(例如 LLM,它分解单词或句子以学习预测句子中的下一个单词),但由 Microsoft Research 针对材料的行为和属性创建。 “它经过训练可以掌握原子语言,”上海微软人工智能科学研究院首席研究员陆子恒说。 “预测材料的行为对于化学家来说至关重要。更重要的是,模型掌握了原子的语言——从整个元素周期表中学习。分子在嵌入空间中是什么样子?如何将分子的结构转换成机器可以理解的向量?除了预测材料特性的能力之外,这是 MatterSim 所做的最重要的事情。”
该模型使用主动学习,这类似于学生为考试而学习的方式。当模型获得一条新数据时,它会决定它是否不确定。如果是这样,这些数据将进入模拟以重新训练模型,就像学生学习他们还不知道的学科部分,而不是他们已经学过的部分一样。
关于分子行为的数据非常少,因此该团队使用量子力学计算来创建合成数据,类似于 MatterGen 的例子。
卢说,结果比任何以前的模型都要准确十倍,“因为我们能够生成数据来覆盖前所未有的材料空间”。 “这使得模型非常准确。”
目前,MatterSim 专注于无机材料,但以后可能会添加其他种类。 “MatterSim 是一个特定领域的基础模型。 AI for Science 的研究人员正在朝着一个统一的大型基础模型迈进,该模型可以理解整个科学语言,如分子、生物分子、DNA、材料、蛋白质——所有这些可能稍后会统一,但对于 MatterSim 目前来说,我们统一的是整个元素周期表,”卢说。
极光用于大气预测
长期以来,计算机通过处理物理或流体动力学方程中的数字来尝试模拟大气系统,对于天气预报至关重要。阿姆斯特丹微软人工智能科学研究所首席研究经理 Paris Perdikaris 表示:“现在,人工智能和基础模型带来了截然不同的新机遇。” “让我们出去观察世界,收集尽可能多的数据。然后,让我们训练一个人工智能系统,它可以处理这些数据,可以从这些数据中提取模式,并且可以进行预测,例如帮助我们预测天气。”
人工智能的一大优势在于,一旦经过训练,它就不需要强大的计算能力。 Perdikaris 表示,目前,使用全天候运行的超级计算机生成 10 天的天气预报大约需要两个小时。 Aurora 是微软的大气基础模型,它可以使用带有 GPU 卡的台式计算机在几秒钟内完成这项工作。 “人工智能方法带来的主要区别是计算效率和降低获得这些预测的成本,”他说。
Aurora 还提高了准确性,因为它不仅使用基于物理模型的数据,还使用来自卫星、气象站和其他来源的真实世界数据,“其中包含更真实的现实表现,”他说。 “因为它接触到所有这些不同的信息源,Aurora 有机会将它们混合在一起,并产生比我们现有的传统模拟工具更准确的预测。”
Aurora 是一个大型神经网络,一个视觉转换器,使用 1.2 PB 的数据进行训练——大约是互联网上所有文本量的十倍。 “这仍然只是描述地球系统的现有数据的一小部分,”佩迪卡里斯说。
三个典型的天气问题——接下来十分钟这里会下雨吗?未来 10 天地球各地的天气如何?未来几个月或几年的天气会怎样? – 到目前为止都经过不同的预测模型处理。 Aurora 及其未来的扩展将能够使用相同的模型回答所有这些问题。
奥罗拉(Aurora)接受了天气数据的训练,但通过大气化学数据对其进行微调,该模型也可以预测污染水平。
“我们最初的假设之一是,我们可以利用该模型从天气中学到的知识,并尝试使其适应由不同物理原理(例如大气化学)控制的新任务,然后看看它的效果如何,”佩迪卡里斯说。 “令我们惊讶的是,它一直在发挥作用,并给出了一些非常有希望的初步结果。”
人工智能对于污染预测的好处更为明显,污染预测的成本是天气预报的十倍。
让科学发现变得更容易
卢指出,这些模型可以使科学对学生更具吸引力。当他获得学位时,他必须写出方程式,“但现在通过这些模拟,我们实际上可以使用计算机或笔记本电脑进行统计。您可以在屏幕上实时看到反应、分子和材料的行为。它可以让你很好地了解到底发生了什么,而不仅仅是看纸上的方程式。”
Microsoft 的科学基础模型都是在 Azure 上从头开始构建的。该公司计划提供这些模型的早期版本,以帮助科学发现民主化并获得社区的反馈。克鲁夫特说,这种反馈将有助于确定实际应用,从而为模型的未来迭代提供信息和塑造。
基础模型具有改变日常生活和行业革命的潜力。克鲁夫特说,通过加速科学发现,它们不仅有望推动医学和材料等领域的快速进步,而且还能为原子、分子和蛋白质等复杂系统提供更深入的见解,并补充说,这反过来又开辟了巨大的商业可能性跨越各个行业。
版权声明
本文为本站原创内容,转载需注明文章来源(https://www.eiefun.com),另:文中部分素材可能会引用自其他平台,如有侵权或其它,请联系 admin@eiefun.com,我们会第一时间配合删除