信工所Galaxy(星河)生成式人工智能安全風險測評平臺獲評中國網絡空間安全協會“2024年度網絡安全十大優秀創新成果”
4月23日,在武漢市人民政府主辦,中國網絡空間安全協會等單位聯合承辦的第二屆武漢網絡安全創新論壇上,中國科學院信息工程研究所自主研發的Galaxy(星河)生成式人工智能安全風險測評平臺從108項申報成果中脫穎而出,成功獲評“2024年度網絡安全十大優秀創新成果”。
生成式人工智能技術在賦能新質生產力的同時,也衍生出了有害內容生成、隱私泄露、網絡安全風險等多重安全挑戰。為應對這一全球性難題,信工所虎嵩林研究員、韓冀中正高級工程師、湯學海高級工程師、張瀟丹研究員等創新性地提出了“以攻促防,攻防相長”的大模型安全發展技術路線,突破了高擬人化紅隊測試智能體、有監督對抗對比學習有害內容識別、低秩化增量式大模型對齊等核心技術,成功研制Galaxy(星河)測評平臺,有效支撐了國家級的人工智能大模型評估和首屆生成式人工智能大賽。該平臺具備三大核心能力:支持百量級大模型安全自動評測、千余類風險場景深度挖掘,以及百支團隊在線攻防演練,可系統性評估并有效提升大模型安全防護水平,為我國人工智能產業的健康有序發展奠定堅實的安全技術基礎。
中國網絡空間安全協會是由國家互聯網信息辦公室主管的全國性網絡空間安全專業協會,本次評選聚焦人工智能安全、智能網聯汽車安全、云計算安全、開源軟件安全四大前沿領域,面向社會公開征集創新成果。評選遵循“公平公正、內容安全”原則,實施全流程脫敏與盲審機制,專家依據技術內容評分,確保結果客觀公正。獲得這一網絡空間安全領域的重要獎項,不僅是對我所人工智能安全領域科技成果的高度肯定,也體現了業界對我所實踐工作的積極認可。