5月22日,在2023大湾区科学论坛上,鹏城实验室发布了鹏城·星云系统和星方数据——这是支撑国际大科学计划和工程的需求、聚焦天文和遥感两大学科的科研云平台。
鹏城星云系统依托于“鹏城云脑Ⅱ”而构建。鹏城云脑Ⅱ是国产自主的首个E级AI算力平台,根据中国工程院院士、鹏城实验室主任高文的介绍,是“10的18次方、每秒16位复点运算的机器平台”。目前,云脑Ⅱ已经连续五次在超算打榜获得世界第一。
(资料图)
成立于2018年的鹏城实验室位于深圳,主要从事网络空间信息研究,定位为省级实验室;2022年被列入国家实验室。
相比之下,鹏城实验室的合作伙伴知名度或许更高——此前百度发布的全球首个知识增强千亿大模型百度文心、华为发布的首个千亿级生成和理解中文NLP大模型盘古大模型,均有鹏城实验室的研发参与。
ChatGPT带火了整个人工智能产业,也让焦点集中在大模型上。高文指出,ChatGPT之所以能对整个技术发展带来这么大冲击,最关键的是它使用了大模型。
从人工智能行业出发,如何将训练好的模型从一个领域迁移到另外一个领域,始终是一个难题,因为不可能依赖于大量人力去标注数据。
国际欧亚科学院院士李世鹏表示,大模型是解决这个瓶颈的方法,“采用一种预训练模式,对所有数据进行非监督学习,形成大模型后再进行微调,落实到具体的应用场景。”
“其实模型本身很简单,就是生物学里面神经元的一个连接。但是因为它规模大,就起到非常理想的结果。所以规模是大模型里最核心的东西。”高文表示,规模需要靠三方面结合:巨大的算力、海量数据和足够好的算法。例如ChatGPT就是微软为其提供算力,提供了约1万块A100芯片的算力服务器支持。
高文提到,中国也有这样的算力,在2020年推出的云脑Ⅱ,相当于4000块A100芯片组合出来的机器,既可以做理论研究,也可以做核心技术,或者一些比较大的应用。
云脑Ⅱ的诞生让鹏城实验室的AI算力从100P上升到1000P。举例来说,24小时内能训练100亿张图像,或1亿人的DNA、或1千万小时语音、或1万天的自动驾驶数据等,是52万台家用电脑算力之和。
“我们现在正在设计下一台3.2万块卡的机器,这台机器的能力会比微软的机器还强,是后者能力的三倍,确保为人工智能训练持续提供强有力的算力支持。”高文透露,这台机器大约花费60亿元,算力达到16000P。
“两台机器加在一起,可以解决到目前为止所有大模型的训练。”高文表示,而且以此为核心,现在正在启动中国算力网的建设,将来的算力会像ChatGPT电力一样即插即用。
为了实现这个目标,鹏城实验室现在正推动大模型的开源和底座训练工作。例如云脑Ⅱ,只有1/4是鹏城实验室在用,3/4开放出去,作为大设施开放提供给国内的合作伙伴、高校甚至企业使用,此前也帮助百度、华为训练了一系列大模型。
“鹏城会帮助相关单位训练出GPT的底座来,云脑Ⅱ、云脑Ⅲ会给人工智能大模型提供足够算力,我们也希望合作伙伴提供一些数据。”根据设想,通过鹏城的算力、公开渠道的数据结合,训练出大模型底座向全社会开放。
算力、算法、数据,是人工智能的三大范畴。这也意味着,即使企业的算力不高,也能通过底座完成工作——毕竟ChatGPT一次训练要花费将近1000万美元。而对于云脑Ⅱ等基础设备而言,也有望降低开发工作量。
腾讯首席科学家张正友则指出,因为各种各样的原因,包括隐私、行业数据之间的关系,是不可能做一个模型打遍所有事情的,“如何去解决数据之间的壁垒,将多个模型高效地整合起来,这可能又是一个值得研究和探讨的方向。”
(文章来源:界面新闻)