万维读者网 > 数码科技 > 正文  

手机上运行大模型,AI iPhone要来了?

www.creaders.net | 2023-12-21 08:36:44  华尔街见闻 | 0条评论 | 查看/发表评论

这项新研究支持有限容量的设备运行内存2倍大小的LLM,GPU的推理速度可以提升数十倍。媒体称,苹果将生成式AI集成到iOS 18的计划或将加快推进。

AI iPhone要来了?

据媒体报道,近日,苹果发布了一篇论文,介绍了一种可以再超出可用DRAM容量的设备上运行LLM(大语言模型)的方法。

通过大幅提高内存使用效率,这项新研究支持有限容量的设备运行内存2倍大小的LLM,GPU的推理速度可以提升数十倍。

论文称,LLM密集的计算量和内存要求对于DRAM容量来说是一大挑战,该论文构建了一个以闪存为基础的推理成本模型,将在两个关键领域进行优化:减少从闪存中传输的数据量、更多更流畅地读取数据块。

这意味着,该项突破性研究扩大了LLM适用性和可及性,苹果将生成式AI集成到iOS 18的计划或将加快推进。

LLM能在手机上运行了?

一般来说,DRAM就是我们常说的“内存”,而flash(闪存)指的是硬盘。

运算数据时,CPU通常会以DRAM为“中间桥梁”,把硬盘中的数据复制到内存中来,再在内存中做数据处理,这样速度可以提升至数百万倍。

手机上运行大模型,AI iPhone要来了?

但在容量上,DRAM相较于硬盘要小一个数量级。而LLM运行时,需要同时处理的数据量庞大,对容量有限的设备来说构成了极大的挑战。

但这篇论文提出的新框架似乎发现了突破点。该框架旨在将模型参数存储在闪存中,在需要的时候再将数据调入DRAM,解决了LLM运行时数据处理量超过DRAM可用容量的的难题。

具体而言,苹果主要运用了两种技术:

(1)“窗口化”技术:重复使用此前激活过的神经元,以此减少数据传输;

(2)“行列捆绑”技术:针对闪存的数据特征,定制访问数据块的顺序,从而增加从闪存读取的数据块大小。

论文提及,一个70亿参数的模型就需要超过14GB的内存来加载半精度浮点格式的参数,超过了大多数网络端点的承受能力。但是通过该框架,能够实现最小化数据传输并最大化闪存吞吐量,从而减少数据负载、提高内存使用效率。

研究结果显示,与传统的加载方法相比,该框架支持DRAM两倍大小的模型,在CPU和GPU中推理速度可分别提升4-5倍、20-25倍。研究团队在文末总结道:

“这项突破性技术对于在资源有限的环境中部署先进的LLM尤为重要,从而扩大LLM适用性和可及性。”

手机上运行大模型,AI iPhone要来了?

手机巨头们瞄准了AI

在AI潮下,各大手机制造纷纷开始布局“人工智能+手机”。

据此前市场消息,苹果将在其iOS 18中引入AI,主要用于Siri和通讯应用程序的智能问答、生成语句等功能,此外,苹果还在探索AI在Apple Music、Page、Keynote和Xcode等应用中的潜能。

三星于11月初推出其生成式AI模型Samsung Gauss,报道称该模型将纳入即将于2024年初发布的Galaxy S24系列手机中,三星旗下笔记本电脑、平板电脑也有可能集成该模型。

谷歌的双子星大模型(Gemini)也将集成到谷歌旗下产品,11月,谷歌官宣Gemini1.0将在谷歌产品中逐步推出;Gemini Pro将集成到Bard中以进行高级推理和规划;Gemini Nano将为Pixel 8 Pro智能手机的功能提供支持。

   0


24小时新闻排行榜 更多>>
1 这个邻国4年内取代中国 成全球经济火车头
2 雪崩式裁员开始了…北京密令曝光
3 124岁人瑞有望破最长寿纪录 常吃三食物保活
4 很明确的信号 中央要搞历史性大动作
5 人工智能革命将终结中共政权

48小时新闻排行榜 更多>>
1 中南海 出大事了!
2 他竟是外国人!北京这回糗大了
3 这个邻国4年内取代中国 成全球经济火车头
4 雪崩式裁员开始了…北京密令曝光
5 惊爆:三中全会推迟开 因习欲追责江泽民
6 124岁人瑞有望破最长寿纪录 常吃三食物保活
7 很明确的信号 中央要搞历史性大动作
8 全球联合放映这部大片 习近平脸往哪儿搁
9 安徽22岁姑娘因画“猪头人身”漫画被逮捕
10 人工智能革命将终结中共政权
热门专题
1
以哈战争
6
中共两会
11
秦刚失踪
2
中美冷战
7
台湾大选
12
火箭军悬案
3
乌克兰战争
8
李克强猝逝
13
台海风云
4
万维专栏
9
中国爆雷
14
战狼外交
5
美国大选
10
李尚福出事
15
普里戈津
一周博客排行 更多>>
1 包子为何抓姚明? 山蛟龙
2 证明姐是你姐 Shanechen
3 你可能想象不到,中美手术差距 体育老师
4 习近平一盘神秘大棋成就了大日 文庙
5 康生的儿子死了/漂亮国的象征 体育老师
6 中共前总书记父亲死因:生病、 赵大夫话室
7 乌克兰的败象使习帝武统有了信 大宗师
8 什么才是真正辱华的一个东西 艺萌
9 大汉奸现身说法,几十万野猪皮 转个帖
10 若知今日 何必当初 亡羊补牢为 体育老师
一周博文回复排行榜 更多>>
1 前瞻:习马再相会 花蜜蜂
2 耶伦访华三任务 随意生活
3 中国人奴性的根源------《商君 山蛟龙
4 乌克兰的败象使习帝武统有了信 大宗师
5 耶伦为何又访问中共国? 山蛟龙
6 包子为何抓姚明? 山蛟龙
7 大汉奸现身说法,几十万野猪皮 转个帖
8 铁证如山,胆敢在美国的干爹头 爪四哥
9 退休老头马英九哽咽并威武着( 幸福剧团
10 证明姐是你姐 Shanechen
关于本站 | 广告服务 | 联系我们 | 招聘信息 | 网站导航 | 隐私保护
Copyright (C) 1998-2024. CyberMedia Network/Creaders.NET. All Rights Reserved.