​GPTs的背后，不仅是上千张GPU

OpenAI在首届开发者日上，正式公布自定义GPT。这一次的最重磅更新，当属GPTs。它让过去一段时间里大家想象的GPT帮你做一切，成为现实。无需编程，每个人通过对话聊天的方式，即可构建一个专属技能的GPT。

依托此功能，OpenAI将在本月晚些时候推出GPTs商店，让更多开发者可以依靠制作专属GPT赚钱。

如此重磅的更新，以及强大的功能，背后支撑的可不仅仅是在聚光灯下的“GPU”，而是更为庞大的算力产业。

第一步：算力！算力！算力！

众所周知，大模型的训练、推理等过程对算力要求极高，以GPT-3为例，英伟达曾披露训练一次1750亿参数的GPT-3需要34天，使用1024张A100 GPU芯片，单次训练成本高达1200万美元。

与此同时，在大模型等相关应用的快速发展下，据国际数据公司（IDC）发布的报告显示，全球算力投资额将在未来五年内以每年16.5%的复合增长率增长。中国作为全球最大的算力市场之一，算力投资额占比已超过全球总投资额的1/3。

据华为预测，到2030年人类将进入YB数据时代，通用算力将增长10倍，人工智能算力将增长500倍。

如此庞大的算力需求，最终落地点不仅仅是那一张张GPU芯片，而是更为底层的算力基础设施。二算力背后的底层支撑就是服务器。

当前，中国有超过2000万服务器的庞大存量，每年通用服务器采购量约400万-500万台。华为预测，到2027年，中国数据中心服务器市场总规模接近5000亿元。

截至2023年6月底，全国在用数据中心机架总规模超过760万标准机架，算力总规模达到197EFLOPS，位居全球第二。算力总规模近五年年均增速近30%，存力总规模超过1080EB。

放眼国内IDC行业，当下新建成、在建的数据中心大多数以支持智能算力的智算中心为主，而一些老旧数据中心在改造的过程中，也从配电、机房空间、布线等方面，进行针对性改造，达到足以智算项目落地的能力。

不过，仅仅是智算中心的落地对于算力产业，以及大模型而言还是远远不够的。

第二步：智能网络建设

如果没有网络，智算中心就像一座座孤岛，即使有再大的算力也无法“输出”。

立足中国数据中心市场，“东数西算”工程启动已过去近两年的时间，东西部数据中心逐步呈现出协同发展态势，但就目前对算力的需求来看，东部地区的数据中心依旧是供不应求，而西部地区上架率虽有所提升，但仍不理想，上架率不足30%的数据中心比比皆是。

究其原因，网络延时是重要因素之一。为了更好的协同东西部地区算力产业发展，工业和信息化部、中央网信办、教育部、国家卫生健康委、中国人民银行、国务院国资委等六部门联合印发的《算力基础设施高质量发展行动计划》中指出，探索算力协同调度机制。推动以云服务方式整合算力资源，充分发挥云计算资源弹性调度优势。鼓励各方探索打造多层次算力调度架构体系，建设可满足各类创新主体开展多元异构算力调度、应用、研发、验证的平台环境。依托国家新型互联网交换中心、骨干直联点等设施，促进多方算力互联互通。

由此可见，网络对于算力产业发展重要性。基于大模型领域的特点来看，基础模型的训练可以放在训练成本较低的西部地区，从而实现低成本、大规模的训练，而最终应用侧的推理、调优，目前还是需要放在离最终用户更近的东部地区。

不过似乎现有的网络已经不足以支撑庞大的算力调度和数据流通需求，在AGI快速发展的当下，企业、用户需要一个更加智能、更加便捷的互联网架构，这个网络架构也将是解锁大模型价值的关键钥匙。

中关村超互联新基建产业创新联盟秘书长马炬曾对钛媒体表示：“现有的网络是否能承载大模型时代的模型训练、网络传输，以及算力供给等方面的需求？这是现阶段行业需要考虑的一大问题。”

无独有偶，互联科技AINet负责人张先国也曾公开表示，在以模型为中心的AIG时代，对强有力的网络生态系统的需求将更加迫切。“在大模型时代，传统的互联网的‘公网’已经不足以满足当下的业务和应用需求。”张先国强调，“时代需要一张新的网络去承载AGI业务需求。”

第三步：绿色化

如果说算力是大模型的底层支撑的话，那么电力可以看做算力的底层支持。近日举办的云栖大会上，中国工程院院士、阿里云创始人王坚曾表示，过去一百年里，全球电动机消耗掉的电量就占到了总发电量的一半，而现在的大模型就相当于新时代的电机。

以Huggingface 的BLOOM 大模型为例，该大模型有1760亿参数，光前期训练，就需要耗费掉43.3万度电，相当于中国117个家庭一年用电量的总和。

而与之参数量相当的GPT-3的耗电量更为恐怖。数据显示，OpenAI训练GPT-3耗电为1.287吉瓦时（约等于128万度电），大约相当于120个美国家庭1年的用电量。而这仅仅是训练AI模型的前期电力，仅占模型实际使用时所消耗电力的40%。

2023年1月，OpenAI仅一个月已耗用可能等同17.5万个丹麦家庭的全年用电量。谷歌AI每年耗电量达2.3太瓦时，相当于亚特兰大所有家庭1年用电量。

而众所周知，现阶段，中国数据中心用电几乎全来自市电，市电中，绝大部分又是来自“火电”，对于2060年实现碳中和而言，数据中心作为用电大户，在这个过程中自然需要绿色化运营。国务院印发的《“十四五”数字经济发展规划》中就明确指出，持续提升数据中心可再生能源利用水平。

从中国“东数西算”整体布局来看，西部地区的几大节点无一例外的占据了“绿色”的优势，以宁夏中卫为例，中卫市今年启动实施用能权、碳排放权改革，推进“绿电园区”试点建设，完成确权和节能量确定工作；组织指导4家发电企业制定温室气体控制计划，完成1199.4万吨碳排放配额清缴履约，推动产业绿色低碳发展。

与此同时，去年11月，宁夏推动腾格里沙漠3吉瓦新能源基地光伏复合项目首期100万千瓦光伏项目全面开工建设，今年4月并网发电。

公开数据显示，“十四五”期间，中卫天都山等地区规划新增新能源约400万千瓦。截至2022年9月，中卫市新能源装机容量达到822万千瓦，占全市发电装机总量的83%，占全区新能源装机总量的29%，其中光伏占全区光伏总量的32%。而据钛媒体向IDC行业侧了解，目前所处中卫集群的数据中心所接入的市电，已经有相当可观的一部分属于“绿电”。

回到上文提到的，如若足以支持大模型、智能化的网络搭建完成，企业则可以将更多的大模型训练、推理、应用放在绿色电力充沛的西部地区进行。一方面，降低了企业使用大模型的成本，另一方面，在带动西部地区经济发展的同时，让大模型的使用更加绿色化。

在大模型的背后，不仅是备受瞩目的GPU芯片，还有更为庞大的算力产业。而立足中国算力产业，实现从智算中心到智算网络，再到绿色智算的三步走，也才仅仅是大模型行业发展的“开端”。