GPTs的背后，不仅是上千张GPU

北京时间 11 月 7 日凌晨，OpenAI 在首届开发者日上，正式公布自定义 GPT。这一次的最重磅更新，当属 GPTs。它让过去一段时间里大家想象的 GPT 帮你做一切，成为现实。无需编程，每个人通过对话聊天的方式，即可构建一个专属技能的 GPT。

依托此功能，OpenAI 将在本月晚些时候推出 GPTs 商店，让更多开发者可以依靠制作专属 GPT 赚钱。

如此重磅的更新，以及强大的功能，背后支撑的可不仅仅是在聚光灯下的 "GPU"，而是更为庞大的算力产业。

以 GPTs 为引，回看我国大模型领域，以及算力产业的发展，不难发现，还有很多有待提升的空间，以及值得布局的商业蓝海。

第一步：算力！算力！算力！

众所周知，大模型的训练、推理等过程对算力要求极高，以 GPT-3 为例，英伟达曾披露训练一次 1750 亿参数的 GPT-3 需要 34 天，使用 1024 张 A100 GPU 芯片，单次训练成本高达 1200 万美元。

与此同时，在大模型等相关应用的快速发展下，据国际数据公司（IDC）发布的报告显示，全球算力投资额将在未来五年内以每年 16.5% 的复合增长率增长。中国作为全球最大的算力市场之一，算力投资额占比已超过全球总投资额的 1/3。

据华为预测，到 2030 年人类将进入 YB 数据时代，通用算力将增长 10 倍，人工智能算力将增长 500 倍。

如此庞大的算力需求，最终落地点不仅仅是那一张张 GPU 芯片，而是更为底层的算力基础设施。二算力背后的底层支撑就是服务器。

当前，中国有超过 2000 万服务器的庞大存量，每年通用服务器采购量约 400 万 -500 万台。华为预测，到 2027 年，中国数据中心服务器市场总规模接近 5000 亿元。

截至 2023 年 6 月底，全国在用数据中心机架总规模超过 760 万标准机架，算力总规模达到 197EFLOPS，位居全球第二。算力总规模近五年年均增速近 30%，存力总规模超过 1080EB。

放眼国内 IDC 行业，当下新建成、在建的数据中心大多数以支持智能算力的智算中心为主，而一些老旧数据中心在改造的过程中，也从配电、机房空间、布线等方面，进行针对性改造，达到足以智算项目落地的能力。

不过，仅仅是智算中心的落地对于算力产业，以及大模型而言还是远远不够的。

第二步：智能网络建设

如果没有网络，智算中心就像一座座孤岛，即使有再大的算力也无法 " 输出 "。

立足中国数据中心市场，" 东数西算 " 工程启动已过去近两年的时间，东西部数据中心逐步呈现出协同发展态势，但就目前对算力的需求来看，东部地区的数据中心依旧是供不应求，而西部地区上架率虽有所提升，但仍不理想，上架率不足 30% 的数据中心比比皆是。

究其原因，网络延时是重要因素之一。为了更好的协同东西部地区算力产业发展，工业和信息化部、中央网信办、教育部、国家卫生健康委、中国人民银行、国务院国资委等六部门联合印发的《算力基础设施高质量发展行动计划》中指出，探索算力协同调度机制。推动以云服务方式整合算力资源，充分发挥云计算资源弹性调度优势。鼓励各方探索打造多层次算力调度架构体系，建设可满足各类创新主体开展多元异构算力调度、应用、研发、验证的平台环境。依托国家新型互联网交换中心、骨干直联点等设施，促进多方算力互联互通。

由此可见，网络对于算力产业发展重要性。基于大模型领域的特点来看，基础模型的训练可以放在训练成本较低的西部地区，从而实现低成本、大规模的训练，而最终应用侧的推理、调优，目前还是需要放在离最终用户更近的东部地区。

不过似乎现有的网络已经不足以支撑庞大的算力调度和数据流通需求，在 AGI 快速发展的当下，企业、用户需要一个更加智能、更加便捷的互联网架构，这个网络架构也将是解锁大模型价值的关键钥匙。

中关村超互联新基建产业创新联盟秘书长马炬曾对钛媒体表示：" 现有的网络是否能承载大模型时代的模型训练、网络传输，以及算力供给等方面的需求？这是现阶段行业需要考虑的一大问题。"

无独有偶，互联科技 AINet 负责人张先国也曾公开表示，在以模型为中心的 AIG 时代，对强有力的网络生态系统的需求将更加迫切。" 在大模型时代，传统的互联网的‘公网’已经不足以满足当下的业务和应用需求。" 张先国强调，" 时代需要一张新的网络去承载 AGI 业务需求。"

第三步：绿色化

如果说算力是大模型的底层支撑的话，那么电力可以看做算力的底层支持。近日举办的云栖大会上，中国工程院院士、阿里云创始人王坚曾表示，过去一百年里，全球电动机消耗掉的电量就占到了总发电量的一半，而现在的大模型就相当于新时代的电机。

以 Huggingface   的 BLOOM 大模型为例，该大模型有 1760 亿参数，光前期训练，就需要耗费掉 43.3 万度电，相当于中国 117 个家庭一年用电量的总和。

而与之参数量相当的 GPT-3 的耗电量更为恐怖。数据显示，OpenAI 训练 GPT-3 耗电为 1.287 吉瓦时（约等于 128 万度电），大约相当于 120 个美国家庭 1 年的用电量。而这仅仅是训练 AI 模型的前期电力，仅占模型实际使用时所消耗电力的 40%。

2023 年 1 月，OpenAI 仅一个月已耗用可能等同 17.5 万个丹麦家庭的全年用电量。谷歌 AI 每年耗电量达 2.3 太瓦时，相当于亚特兰大所有家庭 1 年用电量。

而众所周知，现阶段，中国数据中心用电几乎全来自市电，市电中，绝大部分又是来自 " 火电 "，对于 2060 年实现碳中和而言，数据中心作为用电大户，在这个过程中自然需要绿色化运营。国务院印发的《" 十四五 " 数字经济发展规划》中就明确指出，持续提升数据中心可再生能源利用水平。

从我国 " 东数西算 " 整体布局来看，西部地区的几大节点无一例外的占据了 " 绿色 " 的优势，以宁夏中卫为例，中卫市今年启动实施用能权、碳排放权改革，推进 " 绿电园区 " 试点建设，完成确权和节能量确定工作；组织指导 4 家发电企业制定温室气体控制计划，完成 1199.4 万吨碳排放配额清缴履约，推动产业绿色低碳发展。

与此同时，去年 11 月，宁夏推动腾格里沙漠 3 吉瓦新能源基地光伏复合项目首期 100 万千瓦光伏项目全面开工建设，今年 4 月并网发电。

公开数据显示，" 十四五 " 期间，中卫天都山等地区规划新增新能源约 400 万千瓦。截至 2022 年 9 月，中卫市新能源装机容量达到 822 万千瓦，占全市发电装机总量的 83%，占全区新能源装机总量的 29%，其中光伏占全区光伏总量的 32%。而据钛媒体向 IDC 行业侧了解，目前所处中卫集群的数据中心所接入的市电，已经有相当可观的一部分属于 " 绿电 "。

回到上文提到的，如若足以支持大模型、智能化的网络搭建完成，企业则可以将更多的大模型训练、推理、应用放在绿色电力充沛的西部地区进行。一方面，降低了企业使用大模型的成本，另一方面，在带动西部地区经济发展的同时，让大模型的使用更加绿色化。

在大模型的背后，不仅是备受瞩目的 GPU 芯片，还有更为庞大的算力产业。而立足中国算力产业，实现从智算中心到智算网络，再到绿色智算的三步走，也才仅仅是大模型行业发展的 " 开端 "。