导语:ChatGPT从问世到现在,差不多有90天。从22年年底刚出来的一个月时NLP业界的震撼,到2023年农历新年后关注突然骤升,持续霸榜,至今热度不减,俨然成为一个Buzzword。我相信有很多人的感受是既惊喜又焦虑,既兴奋又惶恐。在稍稍度过每天霸屏的热搜之后,来静静思考,这一次历史级事件后蕴藏的机会。
一 ChatGPT改变了什么
1.改变了NLP(自然语言处理)领域的技术路线,可能是一统江湖的存在
NLP的中间任务不再被需要,现有的NLP落地方式将被重塑,可以说是出现了一次生产力革命。
对人工智能没有那么熟悉的朋友,我简单多说两句。
从2016年开始,这一次的人工智能浪潮伴随Alpha Go逐渐进入到大众视野,现在大部分人理解的人工智能是一个“弱人工智能”,也就是常说的“有多少人工,就有多少智能”。
本质上这是一种“监督式学习”的模式:给算法喂一些有特征的数据,就能在算法框架(通常是神经网络)内“学习”好,从而在一定范围内(也就是学术概念里讲的在同分布下)达到或超过人的能力水准。
在图像识别领域,单一场景情况这招比较好使(比如车牌识别)。但是在自然语言领域,难度大了很多。我们时常会嘲笑客服热线的电话机器人是个“智障”。在过去,让计算机理解自然语言挑战很大,只好把整个过程拆成很多个小任务,在每一项任务上,用一种方法或者组合方法让计算机能“处理好”,是得AI模型在一定范围内的表现良好。实际上,这是一种不得已的方法,尤其在以ChatGPT为代表的的生成式大模型出现以前。
过去几年,业界一直在努力让AI模型变得“更智能”、“更通用”,尝试了很多办法。比如2018年出现的BERT模型,也曾让从业者很兴奋。简单理解可以认为这是一种类似英语考试“完形填空”技术,给出了上下文,来猜应该填什么词。
只是这样的技术还不够好(从今天来看),在每一个具体的下游任务(也就是每一个具体需要落地的项目场景)中,还需要存在必要的微调工作(fine-tune,即用该领域的数据再给模型做标注和训练)。所以从感知上,这个模型还不够“强”,不能“无所不晓”,还是得需要by项目的训练数据,似乎跟以前没太大差别。
直到ChatGPT出现,证明了类似GPT3.0这样的“自回归语言模型+Prompting”的大语言模型(LLM)技术路线是一个可行且非常牛逼的方向,而且几乎可以解决所有NLP各类任务。要知道这几年在大语言模型路线上,各个科技巨头的路线并不一致(比如Goolge的T5,Meta的RoBETTa)
以GPT3.0为代表的大语言模型技术,从形式和内容上更接近以人的自然语言表达和理解,去和AI做交互。以前那些不得已的方法,不再被需要。
很有可能,这一种技术范式会统一其它技术路线,成为行业标准。
更重要的是,大语言模型(LLM)给到了重要的启示,包括神奇的Instruct、涌现能力、思维链等,其它人体智能领域,是有可能纳入到LLM体系中的,从而走向通用人工智能(AGI)。
我更愿意把这一切的发生,定义为基础设施的革命。大模型技术未来将和电力以及通讯一样,成为基础生产力。
2.改变了从业者和投资者对AI的信心,也提升了大众对AI的信心
过去几年,国内AI项目在产业落地时总会有很多挑战。注意上文我提到,在过往的AI落地过程中,有两个要点:“有特征的数据”和“一定范围内”。
在过去几年的人工智能落地中,这两点成为落地成效的关键问题。一方面有特征的数据,依赖于对领域业务理解,标注工作不是无门槛;另一方面超出了既定范围(分布),还需要重新训练和调优。落地总有难处。
具体怎么难,我在 2019年很难,NLP也很难,但是谁不难呢 这篇文章里做了具体阐述。
换句话说,边际成本下不来,没有取得规模效应,这就是AI公司难赚钱的原因。
盈利难打平,不乐观情绪也蔓延到早期投资。过去几年人工智能方向的投资非常谨慎,甚至可以用很不活跃来形容。
ChatGPT大火之后,无疑提振了从业者和投资者的信心。一切似乎又回到了2014~2015年左右的光景。
更有深远意义的一件事在于,全民追捧ChatGPT。
虽然有大量的炒噱头、蹭热点在其中,但的的确确是一次对全民科普的机会。所有人都知道如今的AI可以做到什么样的程度。AI有多好,AI有多不够好,不再是从业者费劲口舌才能勉强讲清楚的话题。当一个科技产品连你奶奶都知道的的时候,就是你该无比相信的时候。
3.改变了需求的表达方式,也改变了生产供给的方式
我在 AIGC,可能是生命的另一种延续 这篇文章中提到,人不缺乏灵感,但缺乏好的表达能力。放大来讲,人类的需求本质上没有太大的变化,马斯洛已经说得明明白白。技术的巨大变革使得人类需求的满足方式被新方式满足。
我们已经习惯了通过智能音箱查询天气,播放歌曲。这是一个最简单的通过自然语言交互去执行命令的场景。如今你已经知道可以通过chatgpt可以可以总结文章中心思想,并且以表格形式输出。那么如果更有想象力一点呢?让AI帮你调研行业资料信息,写好报告,并且能自行发给你的老板呢?
实际上,Meta的Toolformer,就已经在通过语言模型自行去使用各类软件工具(以API接口方式)。
我在过去几年致力于对话机器人的商业化落地,在数年前就希望:使对话机器人交互成为企业服务的入口。
在ChatGPT出现后这个希望成为可能,且将会包括更多内涵。
更显著的预示是,AI在C端的应用百花齐放的时代才真正开始。
二 ChatGPT没有改变什么
技术轰动时所有人都沉浸在狂欢中,在信息轰炸下会变得兴奋、焦虑、恐惧。历史上所有的新技术爆点出现时,一开始都是一个潮流,它的魅力在于拥有无限可能。越是这种时候,越需要仔细想一想哪些东西是不变的,这有助于我们拨开迷雾寻找方向。
1.如今的AI终究不是「自我进化」,不能突破知识范围边界
模型可以持续学习,学习过程是需要在人的指导下才能完成,目前的模型都停滞在训练好的状态,并不会随着是使用次数的增加而自我优化。模型的持续进化来源于持续地对海量知识数据的吸收。现在尚不能明确AI是否能自动生成数据进行训练(这方面的研究正在进行),AI能工作依然是在“一定范围”内,只不过这个范围比以前大得多,得多。
如果你觉得它变得更聪明了,一定是有人在你看不见的地方负重前行,比如来自肯尼亚劳动人民的智慧结晶。
2016至今的AI落地要考虑的成本问题:持续AI运营运维,长尾场景优化,依然存在。
好消息是,解决这些问题现在有了更高效的办法,这是一个机会。在以前梦寐以求的“世界模型”,现在具备了解法,以后只是一个成本问题。
2.AI不是百分百可信,更智能的AI数据偏见更隐蔽
在过去,以“监督式”方式落地的AI,就已经存在识别不准的问题,不是百分之百准确,已经成为共识。同时,因为在项目上做“微调”已经成为了一种主流模式,在每个项目上,给定的训练数据一定经过了人工确认,数据可靠可信。
但是大语言模型(LLM)时代,由于其机制是生成式预训练模型,背后蕴藏的是海量知识,模型受到的数据偏见和不公平影响一定存在,可能会导致不合适的推理结果。尤其在我们国家,内容正确关于政治正确。合适、可信的内容一定是未来的方向。
同时,因为是预训练大语言模型,不像上个时代可以在单独项目中训练数据,要找出不合适的知识数据的难度变大了。如果说我们相信未来几年大模型会广泛应用,那么保证AI可信(内容正确、可解释、反作弊),一定是确定机会。
更确切的说,在国内大模型在To B方向落地,解决好AI可信一定是前提之一。
3.商业模式并没有因此改变,至少当前如此
商业模式的话题展开有很多,在本文中不做过多阐述。
技术革命对于商业模式有影响,但这一波以ChatGPT为代表的技术变革,在当前并未对商业模式有实质性的改变。在未来,价值兑现可能会发生变化,届时才有新商业模式的产生。
做To G,做To B,做To C,游戏规则并没有发生变化。所以在当前,在各行业从业者,关于ChatGPT的思考应该是“+ChatGPT”,而不是“ChatGPT+”。
三 ChatGPT出现了,哪些是增量市场,哪些是伪增量市场
这里我们要讨论的不止是ChatGPT,还包括大语言模型(LLM),也包括其它AIGC所需要的大模型(Diffusion、DALL-E等)。哪些市场,可能是新技术带来的增量市场?
我给出自己的两个观点:
1.基础设施相关的,一定是增量市场;
2.产生新的需求表达方式的,一定是增量市场,但不一定有好的利润;
大模型在未来,代表着基础设施。是基础设施就意味着基建和配套。核心基础设施是算法和算力,目前有机会参与的,无论是从业者还是投资者,有机会参与就无脑跟吧。
模型训练相关的框架、计算加速、Infra配套、模型服务(Model as a Service),紧贴核心基础设施,也受制于大模型,值得跟进,但最好等一等。大模型不止一家,大模型本身也在完善。
受益于大模型,各行业都可能出现新的效率工具,以及杀手级应用。其背后必定代表着新的需求表达方式。反过来,如何找增量市场,就是看新的需求表达方式是否出现。
内容创作,游戏,效率工具,一定是增量市场。
但玩家众多,想要有好的利润,就是产品力说话。
四 空间有多大
如果我们去看技术创新的周期,前5~10年投入和汇报不成正比,一旦过了拐点就是指数级增长,并迅速成为支撑经济的支柱。
算下来,2013年~2015年是这一波人工智能的开始,在2017年达到融资的高峰,在2022年这个时间点算是差不多到了5~10年的关卡。恰逢其时,大模型的出现似乎正预示着那个“拐点”,此后增长如何,不可限量。
往大一点说,世界经济处于第五轮长周期下行期和第六轮长周期上行期的交汇阶段。这一次大模型出现,正是新的生产力革命。
在生产力革命之后出现的增长空间,无法想象。
5年前尝试AI做to C方面的落地,基本上都失败了。现在AI to C的时代来临,套用一句话,“所有To C应用都值得重做一遍”。
To B方面,当AI已经充分可以成为生产力的时候,所有用户对AI已经不再陌生的时候,就是用AI重塑企业级解决方案的实际,届时不再是零敲碎打做一点AI应用,也不再是怼一个企业级AI平台。To B周期长,技术更新换代有客观规律,早期企业想要跨越鸿沟也需要时间验证。真正意义上AI重塑企业级管理系统的时间要再晚一点。
五 现在入局ChatGPT,是不是个好时候
大模型的战火已经点燃,大厂军备竞赛已经开始,不赘述。
对于大厂,不得不战
搜索出身的大厂不主动迎战便是死,其余巨头虎视眈眈,试图从乱世中重新抢夺高地。海外如此,国内亦如此。从战略出发,大厂必然要投入甚至是重兵投入。我不太认为国内团队做不出ChatGPT,相反我认为肯定会出现中国的ChatGPT,或者中国大模型。
我们国家依然存在大量的工程师红利。换句话说,以前没人能知道NLP可以突破到这个程度(或许包括Google),自然不会有大量的技术力量攻坚。大厂不敢轻易投入,小厂没钱投入。一旦给定了一个方向(可达成的预期),中国工程师朝着一个确定方向猛攻,这事儿是擅长的。
不过,能出来中国的ChatGPT,不一定能出来中国的OpenAI。这就是另一个话题了。
能做大模型的初创团队,值得冲
国内能真正做大模型的初创团队不算多,耗人耗钱耗卡耗时。此时创业,资金,人才,组织架构,利益分配,耐心缺一不可。同时这也是时代给予的最好机会。
这几年做NLP应用的To B公司,有点尴尬
现有的企业客户不会马上替换NLP应用产品,一来替换成本存在,二来新技术落到应用产品还需要时间。但下一步走向何方比较尴尬,战略上必须要转向新技术,但老客户老项目也还需要投入和维护,被迫在资源分配上做抉择。稍微走不好,老的盘子守不住,新的城池打不下来。
对他们来说,先稳住现有盘子,再择时而动。
发力做「中间层」、效率工具和To C应用的公司,蠢蠢欲动
立志要做这几个方向的公司,未来可能会走出几个超级公司。生产力革命的时代,总会走出新的屠龙少年。从Prompt Engineering到应用都有机会。现在入场还稍早了一点,毕竟基础设施的形态还未完全确定,但非常值得提前布局,保持好对需求的理解和对垂直行业的把握,定义好产品形态,在大模型的基础上做厚应用。
特殊的一批玩家:国家队
既然是基础设施,就不应该不考虑到国家队。在大的政治经济环境下,且考虑到大语言模型的特殊性和敏感性,国家队一定会在某个时间段出现,成为国内大模型基础设施不可获取的力量。这样一批玩家预计也在3~5年后会集中出现。
六 对于个人,怎么做
最后再来回答一个问题,在时代的洪流前,个人应该怎么做?
改开以来,基本每十年都有一次大的信息技术飞跃:
80年代,国内的信息技术硬件产业开始萌芽;
90年代,移动通信和个人电脑开始出现;
00年代,互联网第一次发展以及移动通信进入数据时代;
10年代,移动互联网高速发展;
现在这个年代的变化正在发生,我们多去看一看历史的变化,重大技术革命发生时,基础设施改变之后人类社会结构和生产方式是如何变化的,从配套到应用有哪些新兴的机会。 察古乃为知今,每个时代的总有每个时代的机遇。从搜索引擎第一次出现时起,大部分人也没有真正把搜索引擎弄明白过,更别提赚到了多少钱。越是看是随处可见的东西,越是容易被熟视无睹。
如果我们真正理解时代赠予的机遇这句话的含义,就尽可能平时多去主动使用新玩意,研究琢磨其中的技巧,去想一想未来可能的形态。当大浪来临的时候,尽可能让我们脚下的踏板迎着趋势。
以下部分另行可以做专题讨论
事实上这是过去6、7年所有人工智能产品/项目的缩影。
训练要求高质量数据,使用时只能在一个特定范围内用。看着就不经济。
那有没有办法有一个通用模型可以呢。这是有办法的。比如你和公安部合作,把所有中国人的人脸照片都采集上来建模,这样这个人脸识别的算法模型,就可以变成人脸比对的通用模型。
但是,在自然语言里,能办到吗?人脸可以穷举,但是语言可以吗?似乎不能。甚至在特定行业领域里,也不能。你能指望一个银行客户端的机器人,能回答你所有的关于银行的问题吗?并不行。一方面没有办法把所有知识都制作成可被对话机器人使用的问答对,另一方面要频繁地训练机器人掌握最新的知识,且要保证回答都尽可能准确,太难了。本质上这是一个成本问题,放大量的人工给AI作数据标注和训练,还不如多放几个人工客服。
既然不能穷举,那是不是可以预测呢?就像我们在英语考试中做的完形填空题那样,告诉你上文和下文,让你来填空。事实上这正是2018年横空出世的BERT模型所干的事,并成功成为了未来几年NLP领域的主流技术路线:基于上下文预测+微调模式。
只是这样一种范式,依然要求在一个一个具体的AI项目中,需要部分数据进行“微调”(也就是标注)。这也是为什么大多数人并没有对这样的技术进步有明显的感知—还是需要通过给数据做标注,没什么变化嘛。
直到2022年以GPT技术范式为代表的ChatGPT出现,以“自回归语言模型+Prompting”占据统治地位