据The Information报道,苹果为了加速开发LLM,每天烧掉数百万美元,从谷歌挖来了许多工程师。
苹果的Apple GPT大模型能力已经超过了GPT-3.5,员工们对此感到非常自豪。
同时,Siri也即将升级。只要告诉Siri,“用最近拍的5张照片创建一个GIF,发给我朋友”,Siri就会自动执行这一连串操作,非常方便。
苹果的大模型团队主要由谷歌的工程师组成,他们在苹果开发了多个模型进行内部测试。
苹果正在加速开发LLM,这是一场生成式AI的大战,苹果决不会缺席。
苹果之所以如此急迫,是因为四年前苹果的AI主管John Giannandrea就开始组建团队开发对话式AI,但他对AI模型驱动的聊天机器人的应用价值一直持怀疑态度。
但是,随着OpenAI推出了ChatGPT,大语言模型引起了全世界的关注,苹果现在也决定要把大模型做出来。
苹果的Foundational Models团队目前有约16人,每天的训练预算已经增长到了数百万美元。团队的关键成员大部分来自谷歌,他们在苹果开发了多个模型进行内部测试。
据透露,该团队类似于谷歌和Meta的AI实验室,研究人员负责开发AI模型,其他部门负责将模型应用到产品中。
此外,根据一篇研究论文和LinkedIn上的员工资料,苹果还有至少两个团队在开发语言或图像模型。
其中一个团队致力于开发能够生成“图像、视频或3D场景”的应用,另一个团队则在进行多模态AI的长期研究,让模型能够同时识别和生成图像、视频以及文本。
目前,苹果已经开发了多个模型,并正在进行内部测试。
苹果的Siri即将进行大升级,苹果团队认为,他们最先进的模型Ajax GPT已经超越了GPT-3.5。
由于拥有如此强大的模型,苹果的一系列产品将迎来大升级,比如Siri可以自动创建动图并发送给指定人。
预计在明年的新版iOS操作系统中,这些功能将会得到应用。
然而,苹果还没有确定如何将LLM应用到产品中,因为苹果一直都注重用户隐私保护,倾向于在设备上离线运行模型。
据了解,“Apple GPT”的参数量已经超过了2000亿,这对于一台小小的iPhone来说是一项巨大的挑战。
谷歌的PaLM 2为设备上离线使用模型开了一个先例,苹果也可以借鉴他们的经验。
苹果的AI主管Giannandrea最初加入苹果就是为了将更多的AI技术融入苹果的软件中,如Siri。
现在,苹果内部更加注重AI的研发,并给予员工更大的自由和灵活性来进行研究和发表论文。
为了加快AI研发,苹果在2018年开始挖掘谷歌的骨干工程师和研究者。
苹果的团队中有很多行业内的大牛,比如团队负责人Ruoming Pang有着丰富的研究经验。
苹果的团队还有其他研究人员,他们分别负责各自的领域。
团队扮演着类似谷歌和Meta的AI实验室的角色,负责开发AI模型。
此外,根据The Information的分析,苹果的团队还借鉴了谷歌的云计算服务来训练模型。
苹果为此付出了很大的代价,每天烧掉数百万美元用于训练模型。
团队的成员来自不同的背景,其中包括来自牛津大学的研究员Tom Gunter和Thomas Nickson。
Tom Gunter
Thomas Nickson
此外,苹果还挖来了前谷歌AI高管Daphne Luong,来监督团队的工作。
团队中有很多人才济济的成员,来自不同领域的专家都为苹果的大模型研发做出了贡献。
苹果的团队还将训练模型用到GitHub上开源的机器学习框架AXLearn上。
项目地址:https://github.com/apple/axlearn
苹果的AXLearn基于谷歌的开源框架JAX和加速线性代数XLA,在训练模型时具有很高的效率。
苹果希望通过开源AXLearn,与其他工程师进行交流和改进。
免责声明
本文内容(图片、文章)翻译/转载自国内外资讯/自媒体平台。文中内容不代表本站立场,如有侵权或其它,请联系 admin@eiefun.com,我们会第一时间配合删除。