新京报贝壳财经讯(记者罗亦丹)5月10日,2025中国数谷·西湖论剑大会上,安恒信息高级副总裁、研究院院长王欣发布了《安全智能体魔方:成熟度模型评价研究报告》。
对于近期各个大厂纷纷接入MCP(Model Context Protocol,模型上下文协议)这一现象,以及其背后可能蕴藏的安全问题,王欣告诉新京报贝壳财经记者,相对于聊天对话等简单模式的大模型产业应用,很多安全场景中大模型需要和安全防御体系相融合。MCP等规范出现后形成了一定生态,这类生态会让大模型、智能体、软件世界的安全防御体系做出更好的融合。
“MCP是一种协议,过去计算机发展的过程中,许多协议最初并没有安全设计,MCP也是如此。因此会产生一些风险,例如当MCP+大模型组合使用时,如果存在配置不当,可能会导致正常大模型的价值观对齐防御体系失效,从而变成恶意大模型。”王欣说。
王欣表示,随着MCP的出现,大模型和物理软件世界连接增多,可能带来各种各样新的场景应用,但也可能出现新的安全问题,“在这个过程中我们会不断地持续研究这个方向,尽量保证用户在使用大模型时尽可能地安全。”
编辑 段文平
校对 吴兴发
相关文章:
8岁男孩失联超40天,至今尚未找到06-15
学者:律师可在两大领域应用生成式人工智能,但也有挑战06-14
罚没3.62亿元!郭某某与4家企业合谋哄抬药价被处罚06-13
涉及商场、泳池、酒店等场所卫生安全问题,多项国家标准发布06-11
伊朗称将通过阿曼向美转交伊方核协议方案06-10
“蛛网”行动带给俄罗斯哪些“血的教训”?06-04
AI问诊,靠谱吗?05-26