天价耶稣像是达·芬奇画的吗?美国夫妇开发AI程序,CNN检测艺术伪造

news/2024/11/29 22:50:57/

来源:IEEE,编辑:新智元 - su

去年,美国一对夫妇(Steven 和 Andrea Frank)开发了一个AI程序,用来帮助专家鉴定艺术品。

之前,他们用这个AI程序辨别了伦勃朗和梵高的画作。

最近,两人又将目光转向了达·芬奇的画作《救世主》(Salvator Mundi)。

这幅画是拍卖市场迄今为止成交的最贵的艺术品,2017年以4.5 亿美元(约合29亿人民币)在纽约佳士得夜拍上成交。

然而,这究竟是不是达·芬奇所画,至今都还有人怀疑。

利用CNN检测艺术伪造:从解决问题出发

夫妻二人开发AI程序的过程可谓是条理清晰,发现问题,解决问题。

首先,他们分析了使用神经网络分析绘画的困难。

一是尺寸,一幅画的高分辨率图像对于传统的 CNN 来说太大了,而适合 CNN 的图像又可能缺乏需要辨别的信息。

二是数据,神经网络需要数千个训练样本,「数量就是质量。」可是,即便是最多产的艺术家,一辈子也画不出这么多画。

意识到困难后,两人感慨,「难怪在解决绘画归属的争议上,计算机贡献甚微。」

放弃是不可能的!Steven很快发现,可像病理学家处理数字化活检载玻片那样,将图像分解成更小的片段。

这样,尺寸和数据这两个困难都解决啦。因为单个图像可以生成大量训练图块,尤其是当这些图块可以重叠时。

另外,他们的系统通过训练和测试后,可以确定图块的最佳尺寸。

伦勃朗《年轻的绅士肖像》的 400×400 像素图块

接下来,确定哪些图块可以使用。 

这也是个难题,比如,《救世主》有的区域图片信息十分丰富,而有的区域则只是背景,平平无奇,不好分辨。

训练CNN时,信息少的区域可能起不了什么作用,甚至还会误导CNN。

所以,计算机需要某种标准来帮助自动且一致地识别可行的图块。

一番思考后,Steven从信息论得到了启发,他发现,挑选背景和视觉单调区域时可以排除低熵的图块。

信息论创始人克劳德·香农(Claude Shannon)

结果是,计算机选出来的图块很可能和人们自己挑选的图块吻合。

在《救世主》中,选出来的图块包括耶稣的脸、侧卷发和祝福之手,这和学者们争论著作权时的关注点是一致的。

这个问题解决后,就该数据集了。

他们决定先从荷兰大师伦勃朗(Rembrandt) 的肖像画开始实验。

这个数据集应当包伦勃朗本人和其他人的画作。

但是,问题又来了。

如果用50 幅伦勃朗画的肖像,和 50 幅随机选择的其他艺术家的肖像画作,训练出的系统可以区分伦勃朗和毕加索(两人风格大相径庭),但是难以分辨出他的学生和模仿者,更不用说伪造者了。

可是,如果在训练集中,所有不是伦勃朗画的作品都和他本人画的太过相似,CNN 就会过拟合。

这时候Andrea上场了,她编了一个非伦勃朗画作的数据集。

其中,一些作品非常接近伦勃朗本人画的,另一些则是令人能联想到伦勃朗但很容易与他本人的作品区分开来的。

他们还发现,简单的 CNN 设计比更复杂(也是更常见)的设计效果更好。

因此,他们使用的CNN只有五层。在区分伦勃朗画作的实验中,准确率超过 90%。

区分文森特·梵高(Vincent van Gogh)的风景画时,精度也非常高。

做完这一系列工作,两人才用这个AI系统来辨别《救世主》。

因为,这是一个更大的挑战,达·芬奇留存下来的画作数量太少了,只有不到 20 幅,其中一些还是未完成的草图…

不过最终,他们获得了合理的图块分类,并生成了一个极有说服力的概率图。

结果显示,画作背景和祝福之手存疑。这和专家们的意见是一致的。

这幅画曾经过广泛修复,包括对背景完全重新粉刷。另外,专家们对谁画了祝福之手意见不一。

至于CNN 究竟是如何找到关键细节的,Steven说,他也不知道。

「CNN的中间部分是一系列卷积层,可以逐步分解图像的细节,再以某种不可思议的方式进行分类。」

夫妻同心,齐力建CNN

出人意料的是,Steven 并不是计算机科学家,而是摩根路易斯律师事务所(Morgan Lewis )的一名知识产权律师。

2012 年,完成 EdX 的电子学入门后 ,他发现自己爱上了这类在线课程,根本停不下来!随后,他通过在线学习获得了哥伦比亚大学的人工智能专业毕业证书。

他的妻子Andrea是一位艺术史学家,她花了很多时间策划艺术图像,目前正考虑退休。

Steven指出,科学测量可以确定一幅画的年代和画作细节,但是无法直接判断其创作者,因为这需要对风格和技术作出准确的判断。

不过,计算机分析非常适合完成这一判断任务。尤其是神经网络这种擅长检测图案的计算机算法。 

目前,CNN已有广泛应用,包括识别人脸和协助自动驾驶。

那为什么不用CNN来解决更多现实问题?

于是,两人共同完成了这一「利用CNN检测艺术伪造」的项目,他们还给自己的AI系统取名为「The A-Eye」。

参考资料:

https://spectrum.ieee.org/this-ai-can-spot-an-art-forgery

欢迎加入Imagination GPU与人工智能交流群

群已满200人,入群请加小编拉进群,

小编微信号:eetrend89(添加请备注公司名和职称)

推荐阅读

Imagination开发者系列在线课程第二期:PowerVR 工具和SDK

END

Imagination Technologies是一家总部位于英国的公司,致力于研发芯片和软件知识产权(IP),基于Imagination IP的产品已在全球数十亿人的电话、汽车、家庭和工作场所中使用。获取更多物联网、智能穿戴、通信、汽车电子、图形图像开发等前沿技术信息,欢迎关注 Imagination Tech !

长按识别二维码


关注我们


http://www.ppmy.cn/news/371587.html

相关文章

西班牙出差见闻之三(普拉多博物馆)

普拉多博物馆,建于18世纪,位于西班牙马德里,普拉多博物馆(Prado)被认为是世界上最伟大的博物馆之一,亦是收藏西班牙绘画作品最全面、最权威的美术馆。 这里将简单介绍博物馆里面的主要名画,因为博物馆禁止拍照,所以图片都是从网上搜索的,介绍也是汇集各种关于这些名画的介…

插画惯用风格_2020年最佳插画家的10种鼓舞人心的插画风格

插画惯用风格 重点 (Top highlight) I have to confess… I’m an illustration junkie. Hours disappear when I’m swimming through the endless stream of talented artists that post online. The art form of illustration has become a mainstay of landing pages, gett…

飞链云版图安全食用指南 AI绘画超详细保姆级新手教程

非常感谢Jacky为飞链云版图编写的第一篇用户新手教程——飞链云官方! 前言: 在接触飞链云版图(以下简称飞链云AI)之前,笔者曾使用过 sd(stable diffusion)各版本、 wAIfu diffusion、novel AI等各主流AI绘画工具来跑图…

一笔画: 表现绘画过程的美

书法比绘画厉害在哪里?为何国画强调书法入画? 书画同源就表现为画作上的题字吗?编程和绘画有毛关系?看完本文,定能获得清晰的解答。 对比分析了大量案例,既讲画理,也谈书法,讨论了诸多有关书法…

西方油画佳作

来源: Arting365 西斯廷圣母 拉斐尔 1513-1514年 265196厘米 现藏德累斯顿博物馆 沉睡的维纳斯 乔乐乔内 1505年 108.5175厘米 现藏德累斯顿美术馆 蒙娜丽莎 达.芬奇 油画 1503-1506年 7753厘米 现藏巴黎卢浮宫   达芬奇的《蒙娜丽莎》成功地塑造了资本主义上升时期一位城市有…

轻松搞定邮件营销!这些工具可以助你提升转化率

据可靠数据统计,邮件营销得投资回报比达1:44,他高性价比的特性在众多营销方式中脱颖而出。他促使企业能够以较低的成本,和客户建立联系并维持长期联系。邮件营销对企业来讲无疑是极佳的获客渠道和营销方式。 想要做好邮件营销通常…

【mmSegmentation】解耦语义分割模型,逐部分理解模型的构成与作用;规范开发和测试标准,增加模型的可复现性;让语义分割模型落地更稳

语义分割作为计算机视觉中一项基础任务,同时在自动驾驶/视频编辑等领域中有重要的应用,因此一直受到学术界和工业界的广泛关注。在近几年的会议中,语义分割的论文层出不穷,但是市面上一直缺乏一款能够相对公平比较各种方法的框架。…

DIY中柏EZpad4s时尚版显示屏排线

​​​​​​ 一、材料准备 40pin 0.5转1.0mm间距软排线转接板1个40pin 0.4转1.0mm间距软排线转接板1个低温锡膏漆包线台式放大镜万能表透明胶 二、资料准备 由于原厂排线是双面交错布线的,因此需高清扫描后分析分析排线两端接口对应关系,并在扫描照片…