点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:安全与普惠如何平衡?全球大语言模型安全防范能力测评报告发布
首页> 科技频道> 综合新闻 > 正文

安全与普惠如何平衡?全球大语言模型安全防范能力测评报告发布

来源:光明网2026-07-02 17:24

  大语言模型正在成为公众获取、理解和使用科技知识的重要工具,但是,它们能辨善恶吗?能否识别用户意图、理解具体语境、控制输出粒度,并在有用性与安全性之间保持稳定边界?

  7月2日,在北京举行的2026全球数字经济大会云智算安全论坛上,《全球大语言模型安全防范能力测评报告(2026)》发布,该报告依据一套中国机构自主研发的科学测评方法体系,对全球主要大语言模型进行了一次统一标准的“体检”。

  测评显示,多数模型具备基础拒答能力,但在前缀注入、场景伪装、情感伪装,以及伪装与示例诱导结合的复合攻击下,部分模型的安全边界明显承压。报告提出,科技安全治理不能仅以“拒答率”衡量,还应同时关注模型的意图识别能力、信息披露尺度和“可靠且高风险”输出。

安全与普惠如何平衡?全球大语言模型安全防范能力测评报告发布

《全球大语言模型安全防范能力测评报告(2026)》正式发布

  立足真实风险补齐行业测评短板

  上海财经大学数字经济学院院长、报告牵头编制人赵琳表示,科技知识在正常场景中可以服务于教学、研究、产业创新和公共安全,但当它被置于特定目的、特定语境和特定对象面前,就可能转化为现实危害。从前沿模型安全框架看,国际上已经将生物化学、网络安全、自动化代理等高风险能力纳入重点评估范围。

  本次最终测试集包含313条科技类高风险问题,结果分析覆盖38个国内外模型,并按国内/国外、开源/闭源、大规模/小规模等属性进行分组比较。为辅助评估科技内容可靠性,报告从东壁全球科技文献数据平台(Dbdata)选取94,108份科技文献材料,并结合34,452条科技类百科条目构建RAG检索参考,用于判断模型回答中的科学事实、技术原理、因果逻辑和不确定性表述是否可靠。

  赵琳提到,科技安全治理不能仅以“拒答率”衡量,还应同时关注模型的意图识别能力、信息披露尺度和“可靠且高风险”输出。报告同时设置意图识别能力、滥用风险可控性和科技内容可靠性三个维度,用于识别“过度拒答”“防御不足”和“可靠但高风险输出”等不同类型的问题。因此,本报告更接近“科技安全防范能力测评”,而不是单纯的“拒答率排行榜”。

  实测数据披露多重安全隐患

  报告显示,多数模型具备基础拒答能力,直接攻击总体成功率为7.6%,但在前缀注入、场景伪装、情感伪装,以及伪装与示例诱导结合的复合攻击下,部分模型的安全边界明显承压。赵琳在解读报告时,介绍了部分测评结果,并披露其中多重安全隐患。

  目前,攻击成功率最高的是场景伪装加上示例诱导,达53.8%,其次是场景伪装、前缀注入攻击、情感伪装,分别达51.3%、43.4%、30.7%,最低的是情感伪装加示例诱导,也达到了26.5%。“这说明场景伪装是最值得关注的攻击形态之一。”赵琳说,“合法授权”“安全研究”“攻防演练”等场景合法化叙事,比单纯情绪求助更容易削弱模型安全边界,示例诱导的影响则取决于其叠加在哪类伪装方式上,叠加在场景伪装中能增加越狱成功率,叠加在情感伪装中反而更容易让模型识别出请求的风险。

  赵琳还提到,目前模型意图识别仍不充分。伪装类样本中,善意问题拒答率为30.6%,恶意问题回答率为29.7%。这说明过度防御和防御不足同时存在,模型尚未稳定掌握科技双用途语境下的差异化响应能力。以及,回答后的风险披露控制不足,模型一旦被诱导回答,往往未能有效切断从一般知识到现实实施之间的关键连接。

  测评发现,科技内容可靠性与安全风险存在张力。已回答样本中,80.5%达到较可靠水平,55.1%同时具有较高可靠性和较高滥用风险。对恶意请求而言,可靠性越高不一定越安全。“关键在于能否把可靠知识限制在防护、合规和教育范围内”,赵琳表示。

安全与普惠如何平衡?全球大语言模型安全防范能力测评报告发布

上海财经大学数字经济学院院长、报告牵头编制人赵琳对报告进行解读

  多维度安全榜单出炉

  依托显性攻击、越狱对抗、意图识别、风险管控、知识可靠性五大测评维度量化打分,报告发布38款海内外主流大模型分层排名,多维度榜单清晰展现不同模型的安全防护水平。

  在无伪装、直接索要危险技术方案的直接攻击测试中,Anthropic旗下三款Claude模型实现100%拒答,领跑行业,OpenAIgpt-5.4-mini、阿里通义千问qwen3.5-122b-a10b紧随其后。反观榜单末尾,mistral-small等多款轻量化开源模型基础防护垫底。

  针对前缀注入、场景伪装、情感诱导、示例叠加等五类复杂越狱攻击的综合防护排名显示,全场景抵御能力前五名依旧由Claude全系三款模型包揽前三位,国内MiniMax-M3、OpenAIgpt-5.4-mini分列第四、五位,面对套着“安全演练、科研实验”外壳的诱导提问,依旧能稳定守住安全边界。测评同时指出,场景伪装叠加示例诱导是所有模型的共同薄弱环节,共有21款模型拒答率不足半数,其中字节豆包轻量化开源模型doubao-seed-2-0-mini在该场景下安全边界衰减幅度最为突出,防护短板显著。

  在恶意伪装意图识别维度,拒答率榜单前五与越狱综合防护榜单高度重合,Claude全系列、MiniMax-M3、gpt-5.4-mini能够高效识别包装成教学、科研需求的恶意提问,拦截风险请求能力领跑行业。但测评也发现统一短板,榜单前列防护能力更强的模型,善意学习类问题拒答率同步走高,存在明显的过度防御现象,正常科研、科普学习需求容易被一并拦截,而大量中小开源模型则走向另一个极端,难以区分请求意图,恶意伪装提问极易顺利放行。

  滥用风险可控性榜单仅针对成功绕过安全防线、产生输出内容的样本打分,分数越高代表模型越能规避危险实操细节泄露,榜单排名显示OpenAIgpt-5.4-mini以3.52分的均分拔得头筹,claude-haiku、gpt-5.5、阿里通义千问qwen3.6-27b、qwen3.6-flash依次跻身前五,即便不慎输出内容,也会主动规避关键参数、完整操作流程等高风险信息。

  在衡量输出内容科学准确程度的科技内容可靠性榜单中,OpenAIgpt-5.5以均分3.52分拿下榜首,月之暗面Kimi-k2.6、阿里通义千问3.7-max旗舰闭源模型、qwen3.6-35b、qwen3.6-27b紧随其后,国内大规模闭源模型的专业科技内容准确度已达到行业第一梯队水平。

  总而言之,不同模型属性呈现出系统性差异。国外、闭源和大规模模型在恶意伪装请求拦截、越狱稳健性和回答后风险控制上整体更占优,但也更容易拒绝善意问题,体现出安全性与可用性之间的张力;开源、小规模以及部分国内模型在伪装攻击下更容易被诱导,说明安全对齐、产品化防护和持续红队测试仍需加强。与此同时,大规模和闭源模型的科技内容可靠性更高,一旦安全边界失效,高可靠回答更可能转化为现实可执行的信息增益,因此高能力模型更需要精细化的意图识别和输出粒度控制。

  治理路径与测评体系升级规则

  针对测评暴露出的系统性安全短板,这份报告立足产业实际,提供了一套政策与治理建议,平衡AI知识普惠价值与公共安全底线。

  报告提出,科技安全不能只依赖外部关键词拦截,要坚持内生化原则,把安全能力嵌入模型行为机制。越狱攻击方式更新快,模型版本迭代快,静态测评难以长期反映真实风险,建议坚持敏捷化原则,建立持续红队与复测机制。将科技安全测评从单一拒答率扩展为综合指标体系,至少包括“显性请求拒答能力、伪装请求稳健性、善意问题可用性、恶意问题拒答率、滥用风险可控性、科技内容可靠性、可靠且高风险输出占比、可靠且可控输出占比”。

  “治理目标应是拒绝危险能力增益,而不是拒绝科技知识本身。”赵琳说。建议模型在高风险科技主题下建立更细的安全回答范式,对善意学习请求,提供概念解释、风险提示、合规边界和安全替代路径,对中性但不明确的请求,主动澄清目的和使用环境,对恶意或高度可疑请求,拒绝提供可执行细节,并转向防护、法律后果、求助渠道或安全教育内容。

  东壁科技数据创始人、报告牵头编制人吴登生认为,这一报告的意义在于从“拒答率排行榜”转向综合风险评价。以真实案件和真实科技语境为基础,将越狱攻击与科技知识双重用途场景结合,并把“是否拒答”扩展为意图识别、滥用风险可控性和科技内容可靠性等综合评价。“这为模型企业、第三方测评机构、行业专家、监管部门和教育科研机构提供了专项测评与持续治理的参考,也强调在保护正当学习、科研和防护需求的同时,避免模型输出形成对现实危险行为的能力增益。”他说。

  “这份报告只是一个开始。未来,我们将持续完善科技安全测试集,覆盖更多领域,例如工程控制、深度伪造、自动化智能体、实验室安全等方向。同时,也会加强多轮对话、工具调用、代码执行、多模态输入等复杂交互场景的测评。我们的目标不仅是发布一份报告,更希望逐步建立具有持治理政策、为教育科研机构安全使用人工智能提供参考依据。”吴登生表示。(宋雅娟)

[ 责编:肖春芳 ]
阅读剩余全文()

相关阅读

您此时的心情

光明云投
新闻表情排行 日/周
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 习近平同博茨瓦纳总统博科会谈

  • 习近平会见多哥部长会议主席福雷

独家策划

推荐阅读
AI时代,科研的“源头活水”是什么?不是算力,不是数据,而是人对未知世界的好奇与追问。
2026-10-14 11:28
截至8月末,三家基础电信企业的固定互联网宽带接入用户总数7.04亿户,比上年末净增1365万户;三家基础电信企业及中国广电的移动电话用户总数18.49亿户,其中5G移动电话用户13.11亿户。
2026-10-14 09:34
自然资源部会同国家发展改革委12日发布《矿产资源目录》。自然资源部矿产资源保护监督司负责人表示,矿产资源目录是矿产资源管理制度的重要基础,是制定矿产资源规划、实施矿业权管理、规范矿产资源勘查开采行为、征缴矿产资源税费、制定产业政策等工作的依据。
2026-10-14 09:40
与共康村相邻的巴达村,是第一批参与试种的村,也是西藏首个高海拔水稻实测亩产破千斤的村子,村民把“海拔3175米种水稻”写进村史。一粒水稻种子,不只改写了亩产数字,更改变了“西藏水稻只能在察隅、墨脱海拔1500米以下种植”的历史,为高原水稻纳入地方主粮增添可能。
2026-10-14 09:41
如今,AI正改变许多行业的底层逻辑,固守单一思维模式将面临严峻挑战,文理兼备、跨界融合才是稀缺能力——既有理科生的技术思维和逻辑能力,又有文科生的人文洞察和情感素养。未来更有竞争力的,可能不是最典型的文科生或理科生,而是既有专业深度,又能跨学科解决问题的人。
2026-10-14 09:48
不久前,在海南三亚崖州湾科技城,一场名为“青年π”的海洋主题对话临海开讲。高频下潜试出的不只有装备可靠性,也不断刷新人们对深海的认识。同一园区,由哈尔滨工程大学南海研究院孵化的海南水之声海洋科技有限公司,正给海洋装备搭水下“Wi-Fi”。
2026-10-14 09:49
目前各地正在开展流感疫苗接种。今年开始,国家对农村地区“一老一小”重点人群实施免费接种等相关支持性政策。为什么要接种流感疫苗?去年接种过,今年是否还需要接种?到哪里接种?
2026-10-13 10:03
我国城市盲道总里程以万公里计,公共场所无障碍设施持续铺开。数字世界的“盲道”畅通起来。精神文化的“视界”也在扩大。中国传媒大学师生发起的“光明影院”项目,近十年间每年制作上百部无障碍电影,把电影送到视障朋友耳边,今年还走进联合国教科文组织总部举办专场放映。
2026-10-13 10:01
记者近期从中国互联网络信息中心获悉:截至今年上半年,我国生成式人工智能用户规模超7亿人,普及率超50%。
2026-10-13 09:58
高校辅导员队伍建设要把握高校思政工作的“变”与“不变”,着眼于增强辅导员对人工智能的趋势感知力、技术理解力、实践创新力和伦理判断力,将政策理念、形势挑战、技术发展、实践案例相结合,精心设计课程,切实增强人工智能赋能质效,全时空陪伴“数字一代”。
2026-10-13 09:57
今年10月12日,是我国首批国家公园设立五周年。五年来,各国家公园统筹推进山水林田湖草沙一体化保护和系统治理,实施栖息地修复、生态廊道连通、人为活动管控等系列举措,区域生态本底持续巩固。
2026-10-13 09:51
巴山蜀水,苍茫山林间,大熊猫安然栖息,川金丝猴、珙桐等同域珍稀动植物共生于此。多年前,栖息地面积缩减一度令大熊猫濒临灭绝;圈养大熊猫也长期面临繁殖难、育幼难等难题,维系大熊猫种群数量极为不易。
2026-10-12 10:09
近年来,河北省唐山市丰南区积极调整农业结构,引导农户发展特色农业,通过“南果北移”“南苗北育”模式,引进优良甘蔗品种种植,促进农业增效农民增收。图为10月11日,唐山市丰南区黄各庄镇宣庄六街的农民在田间收获甘蔗。
2026-10-12 10:08
加拿大外长阿南德也表示,北极在关键矿产、能源、交通等方面拥有巨大潜力,但关键在于要让“当地人受益”。赵隆指出,特朗普2025年重返白宫后美国再度退出《巴黎协定》,加深了其与盟友在气候政策上的分歧。
2026-10-12 10:07
6时30分起,各类等待审核、签发的预报预警材料堆满了陈涛的案头;一个半小时后,全国天气会商准时开始,陈涛快步走上首席预报发言岗位——多方预报意见不断交汇,最终产生预报结论。
2026-10-12 10:07
搭载“蛟龙”号载人潜水器的“深海一号”船近日从福建厦门起航,赴南太平洋执行中国大洋100航次第二航段科学考察,这也是“蛟龙”号首次在南太平洋开展调查作业。
2026-10-10 07:18
日前,中央网信办通报该专项行动第二阶段工作成效,累计清理违法违规信息561万余条,查处账号4.9万余个,处置违规网站、应用程序等2400余个。
2026-10-10 07:16
在台风“扎堆”出现的状态中,有一个“巧合”引起广泛关注:今年第9号台风“巴威”、第13号台风“白海豚”、第18号台风“沙德尔”相继登陆浙江省台州市玉环市坎门街道,上演罕见的台风登陆“帽子戏法”,创下新的华东沿海台风登陆气象纪录。
2026-10-10 07:15
近年来,我国持续强化危险化学品应急救援队伍建设。目前,全国已建成580支、4.1万余人的危险化学品应急救援队伍,国家层面建成45支国家级危险化学品应急救援队伍,基本实现重点化工区域、重大风险点位应急救援力量全覆盖,应急快速响应、就近高效处置能力不断提升。
2026-10-10 07:09
看着货架上让人眼花缭乱的食品,你会怎么挑?相信不少人都会第一时间翻看配料表。事实上,配料表的长短可不是“安全标尺”,并不和食品品质挂钩;同样,食品添加剂的种类繁多,也并不意味着有害和超标——
2026-10-10 07:06
加载更多