环球微头条丨ChatGPT没有“黑科技”，机制创新值得借鉴

时间：2023-04-08 21:07:08 来源：中国科学报发布时间：2023/4/8 20:29:29

选择字号：小中大

中科院计算所研究员包云岗：

ChatGPT没有“黑科技”，机制创新值得借鉴

在与新必应（New Bing，集成了大语言模型GPT-4能力的搜索引擎）“深聊”之后，中国科学院计算技术研究所副所长、研究员包云岗发现了一点“规律”：对于一些需要精准答案的场景，GPT-4开始变得不可靠。

“与New Bing讨论一些社会人文话题，它回答得头头是道；让它列一个信息技术发展报告大纲，看起来很有层次；让它望文作图、再赋诗一首，表现也还不错。直到开始讨论一道数学题，它似乎有‘情绪’了——试了两次都没答对，最终它不想再继续对话。”包云岗说道。

他不灰心，继续第三次尝试，但New Bing仍然没有给出正确答案。

“但依然有惊喜——New Bing的三次回答，使用了三种不同的思路，这说明它背后的GPT-4所采用基于人工反馈的强化学习（RLHF）确实在发挥作用。”包云岗说。

包云岗受访者供图 ?

AI模型的挑战：“污点知识”难清理

包云岗观察到，虽然GPT-4存在不错的推导能力，但是它的知识体系中存在一定比例的“污点知识”（低级错误或谬误等知识），在这些“污点知识”干扰下，GPT-4的每一次尝试都无法完成正确的推导过程。

比如，在他让New Bing解答一道数学题时，后者连续掉到两个低级错误的“坑”里，以至于得不出正确答案。

他不无担忧地谈到，也许这些“污点知识”在整个GPT-4大模型中的比例不高，甚至这些“污点”对于一些应用场景（比如生成一个团建活动方案或一个报告提纲等）也并不重要，但是对于一些需要精准答案的场景，“确实不可接受”。

并且，他提到，从基于人工反馈的强化学习机制的角度来看，这种“污点知识”的引入却很容易，甚至可以被刻意注入，但清除起来却是非常耗时耗力。

“除非再引入某种机制能针对每一次人工反馈进行甄别，但这种机制又将会依赖可信的基准数据（ground truth），那可信的基准数据又从哪里来？是否需要人工进行校审？”包云岗说，如此将会带来一系列问题。因此，他认为，如何清理ChatGPT系列大模型中现有的“污点知识”，将会是未来所面临的挑战之一。

ChatGPT有未公布的“黑科技”？

ChatGPT发布后，多家企业和机构都想快速复制一个ChatGPT出来，包括谷歌的Bard以及国内的几个大模型，但在效果上都还有明显的差距。因此，很多人认为ChatGPT的“出品方”OpenAI一定掌握了某种“黑科技”没有对外公布。

包云岗不这么看，他认为ChatGPT的震撼效果来自于大量“点技术”的积累，而不是得益于某种“黑科技”。

“我在中国科学院大学教本科生操作系统，在课堂上我一直强调要用系统思维去审视世界。因此，在我眼中，ChatGPT是一种庞大的系统。”包云岗说，“系统=模块+流程”，ChatGPT系统内部一定有很多个模块构成，这些模块之间存在复杂的连接关系、交互流程，从而构成一个网络。而根据“梅特卡夫定律”——当一个网络内的节点数越多，那么整个网络的价值也就越大。因此，通过不断积累，让一个系统集成越来越多的点技术，那么该系统的价值就会越来越大。

梅特卡夫定律以计算机网络先驱、新晋2022年度图灵奖得主罗伯特·梅特卡夫的姓氏命名，是一个关于网络的价值和网络技术的发展的定律，其最初描述是“一个网络的价值等于该网络内的节点数的平方，而且该网络的价值与联网的用户数的平方成正比”。总之，一个网络的用户数目越多，那么整个网络的价值也就越大。一个复杂系统也是由成百上千个紧密耦合、相互关联的点技术构成一个技术网络。因此根据梅特卡夫定律，系统价值或壁垒将会随着集成的点技术数量增加而不断提高。

“当然，网络越复杂，集成的难度也就越大。但是，一旦通过技术攻关成功实现新算法或新功能的集成，构成一个更大的技术网络，那么壁垒也就更高。”包云岗说，因此，从系统角度来看，ChatGPT的壁垒就是通过积累大量点技术而形成的。

这一看法与OpenAI联合创始人Sam Altman的表述一致。Sam Altman在一次节目访谈中提到：“GPT-4是靠发现大量的小创新、再把它们相乘（finding a lot of small wins and multiply them together），从外界看，好像是我们做了一件事实现了从GPT-3、GPT-3.5到GPT-4，但其实这是几百件复杂的事情（相乘）。”

包云岗说，基于这样的共识，或许大家可以对国内的大模型“多一份信心和期望”：“以百度文心一言为例，我们不期望它一下子就能赶上GPT-4，但只要百度能扎扎实实地持续迭代优化，不断去解决数百个甚至数千个问题，那么相信它的效果就会越来越好。”

中国为何未研制出ChatGPT？

引申到“ChatGPT为何没能诞生在中国”的话题，包云岗认为没必要太过纠结：“斯坦福大学、麻省理工学院等知名大学、谷歌等科技巨头也没能研制出 ChatGPT。”究其根源，背后原因很多——比如需要有远见的领导者、优秀的技术团队、雄厚的资金等等。除此之外，OpenAI的机制创新也在其中起着关键作用。

“基于人工智能生成内容（AIGC）的通用人工智能是一个充满无限想象的目标，但反过来也是一个不知道何时能实现的目标。一个理性的大厂或者初创企业，几乎不会以这样的目标作为公司使命，但很适合非盈利机构（NPO）。”包云岗说，OpenAI开始以NPO 的方式成立，致力于AI技术研究和协作，推动AI技术造福人类，因此OpenAI能创造出ChatGPT并不偶然。

一般而言，NPO会通过接受捐赠方式获得资金来源，比如OpenAI最初就获得了埃隆·马斯克1亿美元的捐助。然而，捐赠模式很难维持需要大量资金的研发运行，“自我造血能力”始终是NPO模式要面临的难题。包云岗说，他们在成立和运行北京开源芯片研究院的过程中就遇到这个问题，他也在思考如何破题。

OpenAI是如何破局的？在“烧”完前期捐资后，OpenAI提出了一种创新机制——在传统NPO模式基础上增设一种有限盈利模式。这种新模式跟传统捐赠最大的区别在于，捐赠完全让渡了所有权益，而通过有限盈利模式的投入可以转变为股权，具有保值和增值特点。因此，“NPO模式+有限盈利模式”一定程度上解决了上述矛盾，通过NPO模式维护其长期主义目标，通过有限盈利模式保障长期运行经费。

“当然，这种模式也有人并不认可，比如马斯克认为这种模式破坏了NPO模式的初衷。但如果没有这种机制上的突破，也许OpenAI早就已经倒闭，也更不用说ChatGPT的诞生。”包云岗说。