|
|
|
这项新研究支持有限容量的设备运行内存2倍大小的LLM,GPU的推理速度可以提升数十倍。媒体称,苹果将生成式AI集成到iOS 18的计划或将加快推进。
AI iPhone要来了?
据媒体报道,近日,苹果发布了一篇论文,介绍了一种可以再超出可用DRAM容量的设备上运行LLM(大语言模型)的方法。
通过大幅提高内存使用效率,这项新研究支持有限容量的设备运行内存2倍大小的LLM,GPU的推理速度可以提升数十倍。
这意味着,该项突破性研究扩大了LLM适用性和可及性,苹果将生成式AI集成到iOS 18的计划或将加快推进。
LLM能在手机上运行了?
一般来说,DRAM就是我们常说的“内存”,而flash(闪存)指的是硬盘。
运算数据时,CPU通常会以DRAM为“中间桥梁”,把硬盘中的数据复制到内存中来,再在内存中做数据处理,这样速度可以提升至数百万倍。
但在容量上,DRAM相较于硬盘要小一个数量级。而LLM运行时,需要同时处理的数据量庞大,对容量有限的设备来说构成了极大的挑战。
但这篇论文提出的新框架似乎发现了突破点。该框架旨在将模型参数存储在闪存中,在需要的时候再将数据调入DRAM,解决了LLM运行时数据处理量超过DRAM可用容量的的难题。
具体而言,苹果主要运用了两种技术:
(1)“窗口化”技术:重复使用此前激活过的神经元,以此减少数据传输;
(2)“行列捆绑”技术:针对闪存的数据特征,定制访问数据块的顺序,从而增加从闪存读取的数据块大小。
论文提及,一个70亿参数的模型就需要超过14GB的内存来加载半精度浮点格式的参数,超过了大多数网络端点的承受能力。但是通过该框架,能够实现最小化数据传输并最大化闪存吞吐量,从而减少数据负载、提高内存使用效率。
研究结果显示,与传统的加载方法相比,该框架支持DRAM两倍大小的模型,在CPU和GPU中推理速度可分别提升4-5倍、20-25倍。研究团队在文末总结道:
“这项突破性技术对于在资源有限的环境中部署先进的LLM尤为重要,从而扩大LLM适用性和可及性。”
手机巨头们瞄准了AI
在AI潮下,各大手机制造纷纷开始布局“人工智能+手机”。
据此前市场消息,苹果将在其iOS 18中引入AI,主要用于Siri和通讯应用程序的智能问答、生成语句等功能,此外,苹果还在探索AI在Apple Music、Page、Keynote和Xcode等应用中的潜能。
三星于11月初推出其生成式AI模型Samsung Gauss,报道称该模型将纳入即将于2024年初发布的Galaxy S24系列手机中,三星旗下笔记本电脑、平板电脑也有可能集成该模型。
谷歌的双子星大模型(Gemini)也将集成到谷歌旗下产品,11月,谷歌官宣Gemini1.0将在谷歌产品中逐步推出;Gemini Pro将集成到Bard中以进行高级推理和规划;Gemini Nano将为Pixel 8 Pro智能手机的功能提供支持。
当前新闻共有0条评论 | 分享到: |
|
||||||||||
评论前需要先 登录 或者 注册 哦 |
|
24小时新闻排行榜 | 更多>> |
|
1 | 余茂春惊人预告 习近平的噩梦要来了 |
2 | 突发:全球最大光刻机巨头爆雷 股价跳水 |
3 | 华尔街大鳄警告 它是一个“巨大的泡沫” |
4 | 火箭军又将大地震?习四个字批示 |
5 | 复旦研究生珠峰地区登山死亡 真相更令人愤 |
|
48小时新闻排行榜 | 更多>> |
|
1 | 北京扣动扳机 人民币贬值开始了 |
2 | 撤出中国,苹果跑的也太快了 |
3 | 铁拳再现!中国将禁止公布这些数据 |
4 | 余茂春惊人预告 习近平的噩梦要来了 |
5 | 不好,爆雷越来越密集了 |
6 | 突发:全球最大光刻机巨头爆雷 股价跳水 |
7 | 中共情色档案中的薄熙来情妇有名有姓 |
8 | 重庆,又一次刷新了底线 |
9 | 华尔街大鳄警告 它是一个“巨大的泡沫” |
10 | 这一幕,终于在深圳上演了 |
|
热门专题 |
|
|
一周博客排行 | 更多>> |
|
一周博文回复排行榜 | 更多>> |
1 | 川普就是美国的毛泽东 | 右撇子 |
2 | 前瞻:习马再相会 | 花蜜蜂 |
3 | 警惕有人把民主党与共和党的关 | karkar |
4 | 美国为何选择这个时候公布中共 | 山蛟龙 |
5 | 周傥:美国迫在眉睫的危险 | 万维网友来 |
6 | 现代战争目的:摧毁战争意志 | 施化 |
7 | 习近平一盘神秘大棋成就了大日 | 文庙 |
8 | 抖音在大选年被禁的可能性不大 | 随意生活 |
9 | 去......化 | 山蛟龙 |
10 | 康生的儿子死了/漂亮国的象征 | 体育老师 |