360智脑张向征:共建可信可控AI生态 应对大模型安全挑战

news/2024/12/15 5:35:25/

发布 | 大力财经

人工智能的加速发展,有力推动了社会的数智化转型;与此同时,带来的相关安全风险也日益凸显。近日,在北京市举办的通明湖人工智能开发与应用大会上,360智脑总裁张向征以“大模型安全研究与实践”为主题,向业界分享了大模型安全领域的最新研究成果和实践经验。

张向征表示,大模型是数智化时代的重要基础设施,其应用贯穿众多行业和领域,但伴随而来的安全挑战同样不容忽视。大模型的开发、训练、推理和应用涉及复杂的软件生态系统,这一过程中,数据泄露、模型投毒、提示注入攻击、幻觉问题等安全隐患贯穿始终。张向征强调,保障大模型安全,不仅是维护企业利益的关键,更是确保社会公共安全的必要举措。

张向征提出,大模型安全面临四大核心挑战:大模型软件生态系统安全、内容安全、幻觉问题和Agent流程可控。针对这些挑战,360智脑团队基于多年安全研究积累,提出了一套完整的安全防护体系,包括全链路检测、防护、攻击与测评的闭环流程。

在大模型软件生态系统安全方面,360智脑通过自主研发的检测工具与多层次安全评估方法,可及时发现和修复潜在漏洞,为开发者和用户提供全面的技术支持。此外,针对提示注入攻击、持久性提示劫持、记忆投毒等新型安全威胁,团队研发了精准识别与多重防御机制,显著提升了模型对恶意行为的抗干扰能力。

内容安全方面,张向征分享了360智脑的实践经验。团队通过持续预训练、安全微调和安全强化对齐等手段,结合国标TC260的要求,构建了“大模型原生安全增强”“内容安全护栏”两大防护方案,有效减少模型输出中可能涉及的歧视偏见、违禁内容和其他不良信息。在实际应用中,这些措施帮助大模型在金融、医疗和教育等行业更安全、更高效地提供服务。

针对备受关注的大模型幻觉问题,360智脑创新性地引入幻觉检测Agent技术,能够对模型的输出进行实时评估与修正。通过结合外部知识库和搜索增强功能,该技术有效降低了幻觉发生率,提升了模型的决策可信度。张向征透露,得益于这一技术,360智脑在AI搜索场景中的用户体验提升了32%。

此外,在Agent流程可控方面,360智脑构建了一套针对多Agent协作任务的流程监控与管理机制,通过实时监测和动态调整,确保模型任务执行的全程可控性与透明性。这一举措不仅有效降低了操作偏差的风险,还为复杂任务的安全性提供了有力保障。

演讲还介绍了新型攻击方式的风险评估与应对策略。随着大模型应用的加深,基于自然语言到代码的间接提示注入(NL2SHELL)等攻击正日益增多。对此,360智脑利用自主研发的安全评测大模型,结合红队攻击模型,通过对抗方式快速识别潜在威胁,并持续优化模型的安全策略。

张向征表示,大模型安全不仅是技术问题,更是行业共同面临的课题,只有在保障大模型安全的前提下,才能真正释放AI的无限可能。360智脑致力于与产业伙伴协作,共建安全可信的AI生态。他呼吁全行业关注大模型的“检、防、攻、测”体系建设,通过技术创新与资源共享,共同推动大模型在社会各领域的落地与发展。


http://www.ppmy.cn/news/1555219.html

相关文章

编译glibc

首先下载glibc库 glibc官网:https://sourceware.org/glibc/sources.html 可以通过git的方式下载glibc对应的git库 ​git clone https://sourceware.org/git/glibc.gitcd glibcgit checkout master​ 也可以通过ftp下载对应版本的glibc的源码包 地址:…

服务发现Discovery和Eureka自我保护

服务发现Discovery和Eureka自我保护 1.controller添加 RestController Slf4j public class PaymentController {Resourceprivate DiscoveryClient discoveryClient;GetMapping(value "/payment/discovery")public Object discovery(){List<String> services…

基于python实现自动化的验证码识别:探索与实践

基于python实现自动化的验证码识别&#xff1a;探索与实践 一、验证码的类型及特点&#xff08;一&#xff09;图像验证码&#xff08;二&#xff09;短信验证码&#xff08;三&#xff09;语音验证码 二、验证码识别的方法*&#xff08;一&#xff09;传统图像处理方法&#x…

爬虫学习案例3

爬取美女图片 优美图库地址 一页图片 安装依赖库文件 pip install selenium requests beautifulsoup4import time import requests import random from bs4 import BeautifulSoup from selenium import webdriver from selenium.webdriver.chrome.service import Service fr…

前端(Axios和Promis)

Promise 语法 <script>// 创建promise对象// 此函数需要再传入两个参数,都是函数类型let pnew Promise((resolve,reject)>{if(3>2){resolve({name:"李思蕾",age:23,地址:"河南省"});}else{reject("error");}});console.log(p);p.th…

基于springboot的机器人学习交流网站系统

博主介绍&#xff1a;java高级开发&#xff0c;从事互联网行业六年&#xff0c;熟悉各种主流语言&#xff0c;精通java、python、php、爬虫、web开发&#xff0c;已经做了多年的设计程序开发&#xff0c;开发过上千套设计程序&#xff0c;没有什么华丽的语言&#xff0c;只有实…

抓取价格数据,进行合同报价等工作已全面实现自动化

随着数字化转型的加速推进&#xff0c;企业面临的市场竞争日益激烈。为了在激烈的市场中保持竞争力&#xff0c;企业需要更快速、更高效地做出决策&#xff0c;尤其是在价格数据的抓取和合同报价环节。传统的手动操作方式不仅费时费力&#xff0c;还容易出错&#xff0c;拖慢了…

【C++】递归填充矩阵的理论解析与实现

博客主页&#xff1a; [小ᶻ☡꙳ᵃⁱᵍᶜ꙳] 本文专栏: C 文章目录 &#x1f4af;前言&#x1f4af;问题描述&#x1f4af;递归实现&#x1f4af;参数解析函数参数详解填充顺序分析递归终止条件 &#x1f4af;示例解析第一层递归第二层递归第三层递归最终输出 &#x1f4af…