能体验GPT-4模型的ChatGPT，因需求量太大而暂停了升级为Plus的功能，算力似乎爆表了。

这下，有钱都没地儿充会员了，用户们暂时需要回到“GPT-3.5时代”。这或许留给人类一个空窗期，可以好好思考一下前段时间上千名科技精英签名呼吁暂停“比GPT-4更强的大模型实验”的事儿，他们希望能提前应对AI的风险问题。

 当前，人们肉眼可见的AI风险是造假，生成式AI大模型在人类的脑洞下，给教皇“穿上了巴黎世家的羽绒服”，让马斯克陷入了“和通用汽车女CEO约会”的绯闻中，还凭空捏造了“2001年俄勒冈州9.1级大地震”……

随着AI生图的效果越来越优秀，真实与虚假的界限正在模糊，无论光影、人物神态、年代质感，AI生成的图几乎能达到以假乱真的程度。当有人用AI 制造假新闻、假历史时，我们该如何区分真伪，应对虚假造成的影响？

当GPT-4因算力爆表有限地向人类开放时，我们或许该冷静的看看，当前的AI风险线构建到了哪种程度。

造假潮

86岁的罗马教皇方济各“身着束腰白色羽绒服”的图片，在引发几千万次浏览后被AI生图应用Midjourney澄清，这是利用该应用创建并发布在Reddit上的假照片。

特斯拉CEO 埃隆·马斯克也亲自下场辟谣自己的绯闻照，“我永远都不会穿（图片中）那件外套”。那张图片里，他和通用汽车的CEO玛丽·芭拉“被十指紧扣，街头约会”。这张图在几小时内传播了超过700万次。

 有关教皇（左）与马斯克的假图

知名模特 Chrissy Teigen 都被“时尚教皇”的图片骗到了，“我以为教皇的羽绒服照片是真的，完全没有多想，”她不禁感慨，“在高科技的未来我简直活不下去。”

如果这两张图片尚处于名人“花边”的范畴里，那么接下来的AI造假图带来的影响就大得多了。

在Reddit论坛上，有网友分享了一组画面和质感偏向20年前的“新闻图片”。

图片里，人们在机场里露出惊恐的表情；

 街道上空的大桥坍塌，有车辆被压在了桥下；

 城市的废墟里，救灾人员忧虑地面对着镜头；

这组照片被描述为“2001年卡斯卡迪亚9.1级大地震，引发的海啸摧毁了俄勒冈州”。但事实上，这场灾难并不存在，图片是网友用Midjourney生成的。

而这种“生造历史”的图片在Reddit论坛的Midjourney板块中正在成为潮流。

网友Arctic_Chilean就伪造了“2012年7月超级太阳风暴造成大规模停电”的场景。真实历史是，太阳在2012年7月23日确实产生过强烈的日冕物质抛射，但这次抛射与地球擦肩而过。造图的网友假设“如果地球没有这么幸运”，那么“全球电网和卫星等设施将遭受严重破坏”，“长达数月的大规模停电”就会发生，“北半球还会出现美丽的极光”。

网友制作的假“太阳风暴致停电”图

Arctic_Chilean试图将这些假设利用AI生图应用变成可视化的场景，搞了20多张虚构的图片。太阳风暴的图片有明显的渲染痕迹，工作人员监控城市电网的图片很像电影场景，但NASA的发布会和机场的人群照，一般人看上去很难辨别真伪。

另一位Reddit网友kawaiilovecraft选择了更遥远的年代，生造了“1977年苏联蓝色瘟疫事件”的组图。照片中，田野和树木呈现蓝色，人类穿着白色防护服行动，俄罗斯风格的城市里浓烟四起。

 网友制作的假“苏联蓝色瘟疫事件”组图

或许是因为70年代苏联的照片库存较少、无法为Midjourney提供足够的训练，这组“历史照片”虽然做旧了，但在画面上反倒呈现出一种诡异的不真实感。

制作“太阳风暴致停电”组图的在Arctic_Chilean事后总结，Midjourney善于捕捉2012年的新闻画面的风格，在生成天际线和地标上的极光照片方面也能达到逼真效果，但无法生成城市断电的场景；而“苏联蓝色瘟疫”图组的评论里出现了为图片效果“找补”的评论， “冷战时期铁幕的另一边发生过很多不为人知的事，到现在也没有解密。你的图片提供了一个不错的脑洞”。

我们不排除网友的动机是试验Midjourney生图到底有多逼真，如果这些图片用于虚构的文学、影视等创作，至少观众还能在“知假”的底线上品评创作意义；但我们也不能排除这些假图在不断传播的过程中“失假”，被当成真事儿贴进维基百科。

假信息恐慌

假图文进入维基百科被当成真事儿，这可不是危言耸听。

去年6月，一起发生在中文维基百科上的造价事件被揭露后，网友直呼“大无语”。

用户 “折毛”编造了100多万字图文并茂的“古罗斯史”，3年都没人发现。直到一位爱好俄罗斯历史的网文作者“伊万”查找背景资料时，对词条“卡申银矿”存疑，多方查证后发现“拥有300多年历史的银矿资源”根本不存在，顺腾摸瓜，“伊万”揭露了这个存在严重造假的“古罗斯史”。而这3年里，“折毛”被不少用户视为领域权威，胡编的历史词条甚至被评为“典范条目”或“优良条目”，还获得了网站审查的“巡查豁免”。

“折毛”被封号，他也在网上为造假道了歉。

想象一下，假如这里面还有生成类AI参与，把文本和图片大数据真真假假地混杂一下，没个专业的人士，假历史可能更难被发现。如果无人矫正，一直这么流传下去，假的也没准变成真的，作假者甚至会伪装成权威。

人们常说“有图有真相”，而AI终于让“有图也不见得是真相”成了现实，一些人也开始积累辨别AI图片的技巧，比如看手指、看光影细节等。

但是，上个月发布的Midjourney V5 版本已经基本解决了画不好手指的问题。一位正在使用该应用的画师表示，新版本生成的图片中仍有手部不自然的情况，但此前版本中的手指数量错误和形态扭曲等问题已经消失。

如果再不树立“标注规则”，分辨真实与伪造或许会越来越难。而AI制图的另一个问题是，制作图片的门槛低到约等于没有。

用户只需要发出指令，各种 AI 生图工具就可以迅速生成海量的逼真图片。在全网各个AI图片社区，人们讨论最多的是，如何写指令才能得到预期效果。当然，人们想得到理想的图片还需要较为复杂的指令，但即便如此，AI制图的门槛仍然比绘画和PS小得多。

比如，火爆全网的“时装教皇”就是一个普通人的娱乐之作。创作者巴勃罗·泽维尔（Pablo Xavier）是一名31岁的建筑工人，在采访中，他称完全没料这张图会走红。谈到创作历程，泽维尔说，灵感来自于“嗑药时产生的幻觉”，“我忽然想生成一张教皇的图，接着各种想法像潮水一样涌来，巴黎世家的羽绒服、巴黎或罗马的街道等等”。

生成虚假图片的技术在互联网上存在了很久，但一直都只在小范围内引起讨论。在知乎上就有这样一个问题——有哪些匪夷所思的合影？网友纷纷贴出不为人知的名人合影，如特朗普和迈克尔·杰克逊，普京和里根，卓别林和梅兰芳等等。

 知乎上“匪夷所思的合影”最近出现AI质疑

过去几年里，评论区都在讨论合影背后的故事，但最新的评论终于开始质疑照片的真假：“这是AI合成的不”。随着AI能产出“量大管饱”的高质量假信息，这个问题终于被怼到所有人眼前，担忧与恐惧已经出现：

“这很可怕，对吧。以后要怎么判断一张照片是真是假呢？”

“太可怕了，因为你发布的所有照片看上去都是可信的。如果没人告诉我是假的，我会一直被愚弄。”

“真的难以相信这些图像不是真的而是由midjourneyV5生成的……这让我们困惑于一个充满虚假信息的未来，我们应该问问自己是否真的想要这项技术。”

AI生成的信息大有泛滥之势，人类世界做好分清真假的准备了吗？

规则缺位

面对生成式大模型的“日更”进化速度，一些规则现在社交平台上出现了，但出台规则的主体显然还远远不够丰富。

今年2月，推特推出了在推文下方添加注释的“社区笔记（CommunityNotes）”功能。有人认为，社区笔记或将能够帮助推特打击谣言，减少假消息传播，其中就包括AI生成的图片。此前广为流传的“特朗普被捕”、“教皇穿时装”等AI假图已被添加了说明。

不过，也有人觉得社区笔记功能虽然有机器算法加持，但仍需要由后台人工审核，标记效率远远比不上假图生成的速度。一个例证是，最近的假图都是在广为流传后才被标注。

还有网友指出，教皇、马斯克、特朗普都是名人，他们的人气决定了事关他们的虚假图片更易被推特注意到，“如果普通人被假图了，传播范围又不那么广，推特似乎做不了什么。”毕竟，连中国网红罗玉凤多次辟谣没有推特账号后，以“凤姐”为名的假账号仍然存在且仍在吸粉。

除了推特，今年3月，TikTok也宣布所有显示真实场景的deepfakes（深度伪造）都必须贴上“伪造”或“篡改”的标签，还要求公众人物的deepfakes不得用于政治或商业代言。不过，这条规则还没有明确针对AI生成的图片。

调查机构Bellingcat的创始人艾略特·希金斯(Eliot Higgins)认为，社交媒体平台应该开发能够辨别 AI 生成图像的新技术，并将这种技术融入自己的平台。不过考虑到“术业有专攻”，Midjourney等AI制图软件和社媒平台合作开发识别技术，或许是一种更可行的思路。

希金斯的建议正是一些AI专家们强调过的，各种AI大模型的开发公司应该进入到规则的建设队伍中，光有传播渠道的“限制”是不够的，从源头上就应该为假文、假图打标签。

此前，已经有AI公司在做相关开发，由于有太多人用AI 语音工具 ElevenLabs从事违法活动，比如伪造儿子的声音向父母要钱这种，ElevenLabs引入了一系列技术层面的遏制措施，包括推出AI 检测工具，用于验证某个音频剪辑是否用他们的技术生成。

可见，目前针对AI生成内容的识别或标记开发，仍处于应用开发方各自为阵的状态，尚未形成达成共识的统一行规，也还没有具有针对性的监管规则，显然这是一个系统工程。

正如3月29日非营利组织未来生命研究所（Future of Life Institute）那封《暂停巨型AI实验》的公开中所述，AI开发人员必须与政策制定者合作，大幅加快强大的AI管理制度的开发，其中的制度内容就包括了“帮助区分真实和合成数据的溯源、水印系统”的研发。

如今，生成式大模型的代表应用ChatGPT关闭了Plus付费功能，某种程度上也意味着GPT-4的使用受到了限制；而Midjourney也因计算资源有限而限制着免费用户的使用量。这客观上给建立AI规则留下了一个空窗期。

面对新技术的一体两面，开发者、第三方组织、监管部门是时候共同面对挑战了。