中国计算机学会计算机视觉专委会携手合合信息举办企业交流活动,为AI安全治理打开“新思路”

news/2024/12/17 22:53:05/

近期,《咬文嚼字》杂志发布了2024年度十大流行语,智能向善位列其中,过去一年时间里,深度伪造、AI诈骗等话题屡次登上热搜,AI技术“野蛮生长”引发公众担忧。今年9月,全国网络安全标准化技术委员会发布了《人工智能安全治理框架》,指出人工智能既面临自身技术缺陷、不足带来的内生风险,也面临不当使用、滥用甚至恶意利用带来的外部风险。

为探寻AI安全治理道路,近期由中国计算机学会计算机视觉专委会主办,合合信息承办,中国运筹学会数学与智能分会协办的《打造大模型时代的可信AI》论坛(简称论坛)顺利举行。论坛特邀来自上海交通大学、电子技术标准化研究院、中国科学技术大学、中科院、合合信息等机构与企业的专家们,从立法、监管、前沿研究、技术实践等多个维度分享AI安全领域的最新进展,助力AI向善发展。

图说:《打造大模型时代的可信AI》分享嘉宾合影
图说:中国计算机学会计算机视觉专委会副秘书长潘金山博士致辞

AI安全治理框架:技术手段与规范管理并行

随着以 ChatGPT 为代表的AI大语言模型技术飞速发展,关于数据安全、知识产权、算法偏见和有害内容生成等大语言模型的内容安全问题引发了社会关注。安全是个抽象概念,安全对齐的过程是一个从抽象到具体的模拟过程。”论坛上,上海交通大学人工智能研究院教授、总工程师金耀辉围绕大模型训练过程,提出了“训练对齐、提示引导和文本过滤”三大安全保障手段,助力抽象的安全概念落实到具体的技术研发流程中。

图说:上海交通大学人工智能研究院教授、总工程师金耀辉进行《智能共生时代:平衡生成式AI的创新与风险》主题分享

规范标准是AI健康生长的外部力量。中国电子标准院网安中心测评实验室副主任、CCIA数安委常务副主任何延哲认为,人工智能安全检测目前还主要停留在内容安全层面,检测方法比较单一。他将人工智能安全检测评估划分为算力网络安全、数据安全、个人信息保护、算法模型安全、网络信息安全、科技伦理安全六方面,形成综合评估框架,为标准引领技术发展方向提供可行性参考。

图说:电子标准院网安中心测评实验室副主任、CCIA数安委常务副主任何延哲进行《人工智能安全检测评估的逻辑和要点》主题分享

技术实践:“看不见”的AI让伪造痕迹被看见

12月10日,Open AI正式向用户开放AI视频生成模型Sora。以Sora为代表的AI工具在给图像视频行业带来革新的同时,也引发了合成图像伪造风险。中国科学技术大学教授、国家杰青谢洪涛以特定人物深度伪造视频为研究对象,从主动防御和被动检测两个视角分享了具体治理方案。

谢洪涛提到,主动防御用于在视频生成或传播过程中加入前置保护措施,例如采用双重水印技术,给人脸图像加上“看不见”的鲁棒性水印与半脆弱性水印,方便后续取证;被动检测包括图像级不一致性和时空身份不一致性检测技术,用于在视频传播或使用后评估其真实性。

除了视频外,图像作为常见的数字内容资料形式,更容易被不法分子进行局部或全域生成式篡改。合合信息图像算法研发总监郭丰俊表示,合合信息技术团队基于数据驱动的神经网络模型,推出了行业领先水平的图像篡改检测方案,可提取篡改留下的细微痕迹,检测出多种篡改形式,在近年的2次国际性技术竞赛中获得冠军。当前文档类图像篡改检测仍然面临诸多挑战,如跨域泛化检测性能低下,纯色背景篡改检测准确率较低,压缩、传输等动作导致图像质量退化,致使检测性能下降等系列问题。大模型技术的出现为AI视觉安全的发展创造了新的可能,也为应对检测泛化能力和抗攻击能力的挑战提供了契机。

图说:合合信息图像算法研发总监郭丰俊进行《视觉内容安全技术的前沿进展与应用》主题分享

人工智能鉴别与合成技术相互博弈,密不可分。中国科学院自动化研究所研究员、IEEE/IAPR Fellow赫然博士从深度合成技术出发,详细分析了虚拟身份、身份重演和人脸驱动三种合成技术类型。他表示,深度合成技术的深入研究为鉴别提供了线索,例如模型指纹线索、图像拼接线索和时序闪烁线索等,形成多模态多线索的鉴伪方法,并有针对性地提出了图像鉴别方案,包括基于空频域信息和提示学习结合的伪造鉴别方法、基于transformer的视频鉴别方法等。

图说:中国科学院自动化研究所研究员、IEEE/IAPR Fellow赫然进行《生成式人工智能安全与治理》主题分享

生成式人工智能发展日新月异,技术革新与安全治理缺一不可,面对AI的潜在风险,加强行业内部自律,从源头做好安全措施是守护AI健康成长的第一道防线。本次活动是产学研联合探索AI安全治理的一次有效尝试。未来,合合信息会持续深耕AI视觉安全领域,积极推动行业合作与交流。


http://www.ppmy.cn/news/1555976.html

相关文章

鸿蒙Next环境设备查询Environment用法总结

一、概述 Environment是ArkUI框架在应用程序启动时创建的单例对象,用于提供一系列描述应用程序运行状态的属性,其所有属性不可变(应用不可写入)且为简单类型,主要为AppStorage提供设备环境相关信息,以辅助…

APP、小程序对接聚合广告平台,有哪些广告变现策略?

开发者对接聚合广告平台,可以让自身流量价值最大化,获得更多的广告曝光机会,对接单一的广告联盟容易造成广告填充不足,收益不稳定的问题。#APP广告变现# APP开发者根据应用的生命周期、用户特征和产品定位,选择最适合…

《Time Ghost》的制作:利用AI模型,实现更具真实感的布料变形

在 2024 年 9 月,Unity 的 Demo 团队展示了一个全新的实时电影级 demo 《Time Ghost》。这个 demo 是基于 Unity 6 引擎制作的,采用了 Unity 6 中的一些新功能和技术能力,让我们能够实现前所未有的视觉品质和复杂程度。 在制作《Time Ghost》…

mac 安装CosyVoice (cpu版本)

CosyVoice 介绍 CosyVoice 是阿里研发的一个tts大模型 官方项目地址:https://github.com/FunAudioLLM/CosyVoice.git 下载项目(非官方) git clone --recursive https://github.com/v3ucn/CosyVoice_for_MacOs.git 进入项目 cd CosyVoic…

【人工智能】100+目标检测数据集模型算法源码(持续更新中建议收藏)

前言      目标检测在计算机视觉领域扮演着至关重要的角色,其核心任务是在图像或视频中识别并定位特定物体的位置。为了训练和评估这些算法的性能,研究人员和开发者常常依赖于一系列广泛应用的数据集。以下是一些非常有用的目标检测数据集、模型和算…

NVR小程序接入平台/设备EasyNVR深度解析H.265与H.264编码视频接入的区别

随着科技的飞速发展和社会的不断进步,视频压缩编码技术已经成为视频传输和存储中不可或缺的一部分。在众多编码标准中,H.265和H.264是最为重要的两种。今天我们来将深入分析H.265与H.264编码的区别。 一、H.265与H.264编码的区别 1、比特率与分辨率 H.…

springboot集成h2数据库并使用多数据源

前言 为了满足客户的需求,我们计划将项目中使用的MySQL数据库迁移至H2数据库。虽然项目已经集成了多数据源,理论上可以正常运作,但在实际操作过程中,我们发现项目启动时无法自动创建表。我们将对此问题进行深入分析,并…

211-基于FMC的1路1.5G ADC 1路 2.5G DAC子卡

一、板卡概述 FMC-1AD-1DA-1SYNC是我司自主研发的一款1路1G AD采集、1路2.5G DA回放的FMC、1路AD同步信号子卡。板卡采用标准FMC子卡架构,可方便地与其他FMC板卡实现高速互联,可广泛用于高频模拟信号采集等领域。 二、功能介绍 2.1 原理框图 2.2 硬件…