9月8日,ISC.AI 2025上海大模型安全論壇暨大模型安全衛(wèi)士產(chǎn)品發(fā)布會(huì)在上海舉行。會(huì)上發(fā)布的360大模型安全衛(wèi)士以“四大智能體”為核心,系統(tǒng)化破解AI安全難題,全面夯實(shí)智能化發(fā)展基座。
近年來,大模型技術(shù)迅猛發(fā)展、智能體應(yīng)用加速落地。人工智能正在重塑百行千業(yè),成為推動(dòng)新一輪科技革命與產(chǎn)業(yè)變革的核心動(dòng)力。 不過,AI在帶來機(jī)遇的同時(shí),也衍生出眾多新挑戰(zhàn)。
360集團(tuán)創(chuàng)始人、ISC大會(huì)主席周鴻祎在致辭中表示,AI發(fā)展面臨著惡意利用、內(nèi)容安全、“幻覺”問題、提示詞攻擊等風(fēng)險(xiǎn),大模型既是生產(chǎn)力工具,也可能成為新的攻擊載體和攻擊入口,政府和企業(yè)的數(shù)據(jù)資產(chǎn)、商業(yè)機(jī)密面臨著前所未有的暴露風(fēng)險(xiǎn),保障AI安全是一項(xiàng)長(zhǎng)期而艱巨的任務(wù),需要各方協(xié)同努力。
360數(shù)字安全集團(tuán)副總裁余凱表示,面對(duì)AI安全新挑戰(zhàn),傳統(tǒng)安全企業(yè)在大模型技術(shù)領(lǐng)域積淀不足,往往是“盲人摸象”,難以系統(tǒng)把握全局;而多數(shù)大模型企業(yè)缺乏必要的安全技術(shù)積累與攻防實(shí)踐經(jīng)驗(yàn),往往難以提出行之有效的解決方案。
作為兼具數(shù)字安全和人工智能雙重能力的企業(yè),360充分發(fā)揮跨領(lǐng)域優(yōu)勢(shì),基于“以模制?!崩砟畲蛟?60大模型安全衛(wèi)士,聚焦解決AI的“可靠、可信、可控、向善”核心問題,以四大智能體系統(tǒng)性解決大模型生命周期中各環(huán)節(jié)的安全問題。
具體來看,其內(nèi)容安全智能體通過垂直領(lǐng)域?qū)I(yè)模型訓(xùn)練,提供智能判定、風(fēng)險(xiǎn)內(nèi)容檢測(cè)及安全回復(fù)代答等關(guān)鍵能力。通過建立五道“內(nèi)容防線”,提供超過100個(gè)風(fēng)險(xiǎn)類目識(shí)別能力,確保輸入輸出雙向安全。同時(shí)以測(cè)促防,持續(xù)對(duì)模型回復(fù)內(nèi)容進(jìn)行評(píng)測(cè),識(shí)別潛在攻擊風(fēng)險(xiǎn)。
AI Agent安全智能體通過原生安全機(jī)制,全面保障AI Agent在執(zhí)行任務(wù)過程中的數(shù)據(jù)安全與權(quán)限控制,有效防范自動(dòng)規(guī)劃與執(zhí)行中可能出現(xiàn)的行為失控問題,把大模型能力“關(guān)在籠子里”。
幻覺抑制智能體通過搜索增強(qiáng)、知識(shí)增強(qiáng)與對(duì)齊增強(qiáng)技術(shù),提升大模型推理過程的準(zhǔn)確性,有效抑制因內(nèi)容時(shí)效性缺失、數(shù)據(jù)過時(shí)等因素引發(fā)的大模型“幻覺”問題,確保生成內(nèi)容真實(shí)可信。
軟件安全智能體能夠高效識(shí)別開源軟件,精準(zhǔn)定位AI軟件的安全漏洞。覆蓋從模型訓(xùn)練到推理的全鏈路安全檢測(cè),支持識(shí)別模型服務(wù)相關(guān)組件、生態(tài)鏈漏洞掃描與多語言代碼審計(jì),保障AI軟件供應(yīng)鏈生命周期的安全性。
此外,360將大模型安全衛(wèi)士融入安全運(yùn)營(yíng)體系,通過整合安全大模型、安全大腦平臺(tái)、大模型安全衛(wèi)士及終端探針工具的核心能力,構(gòu)建“網(wǎng)數(shù)模一體化”安全運(yùn)營(yíng)平臺(tái),實(shí)現(xiàn)安全運(yùn)營(yíng)系統(tǒng)性重塑與升級(jí)。
余凱表示,AI安全是一個(gè)高門檻的技術(shù)領(lǐng)域,需要同時(shí)具備AI技術(shù)積淀、安全實(shí)戰(zhàn)經(jīng)驗(yàn)、真實(shí)場(chǎng)景驗(yàn)證和海量語料積累。360通過自身大規(guī)模AI業(yè)務(wù)場(chǎng)景驗(yàn)證產(chǎn)品能力,同時(shí)沉淀了海量安全語料,構(gòu)建起核心競(jìng)爭(zhēng)力。目前,360大模型安全衛(wèi)士已在公司內(nèi)外多項(xiàng)業(yè)務(wù)中實(shí)現(xiàn)深度應(yīng)用。