(資料圖片)

繼此前“10分鐘被AI換臉騙走430萬元”事件引發(fā)關(guān)注之后，5月25日，4月發(fā)生的又一起AI換臉詐騙事件被媒體曝光。這次金額達(dá)到245萬元，且整個(gè)詐騙過程時(shí)間更短，只有9秒鐘。據(jù)大皖新聞報(bào)道，今年4月，安徽安慶經(jīng)開區(qū)發(fā)生一起“冒充熟人”詐騙案，經(jīng)開公安分局反詐中心民警調(diào)查發(fā)現(xiàn)詐騙分子使用了一段9秒鐘的智能AI換臉視頻佯裝“熟人”，讓受害人放松警惕從而實(shí)施詐騙。

5月24日，中國互聯(lián)網(wǎng)協(xié)會(huì)發(fā)文提醒，今年以來，ChatGPT和GPT-4等技術(shù)的應(yīng)用，成為了信息科技領(lǐng)域的熱點(diǎn)，引起公眾對AI技術(shù)的廣泛關(guān)注和熱情。但伴隨著深度合成技術(shù)的開放開源，深度合成產(chǎn)品和服務(wù)逐漸增多，利用“AI換臉”“AI換聲”等虛假音視頻，進(jìn)行詐騙、誹謗的違法行為屢見不鮮。面對利用AI技術(shù)的新型騙局，廣大公眾需提高警惕，加強(qiáng)防范。

除AI換臉詐騙外，生成式AI寫作也被用于編造、傳播虛假信息。5月24日，科大訊飛股價(jià)午后一度大幅下跌，之后科大訊飛回應(yīng)稱，股價(jià)下跌系某生成式AI寫作“虛假小作文”導(dǎo)致，謠傳風(fēng)險(xiǎn)為不實(shí)消息。

2023年4月，國家網(wǎng)信辦發(fā)布《生成式人工智能服務(wù)管理辦法（征求意見稿）》，其中提到，“利用生成式人工智能生成的內(nèi)容應(yīng)當(dāng)真實(shí)準(zhǔn)確，采取措施防止生成虛假信息。”

AI造假亂象所帶來的網(wǎng)絡(luò)安全問題引發(fā)市場關(guān)注，上市公司在AI安全領(lǐng)域積極布局。

深信服于5月18日舉行產(chǎn)品發(fā)布會(huì)，發(fā)布深信服安全GPT，該產(chǎn)品不依賴其他開源模型，由深信服自主訓(xùn)練，并部署于深信服托管云，實(shí)現(xiàn)完全自主可控。浙商證券分析師劉雯蜀表示，公司基于自身對于威脅情報(bào)和攻防技術(shù)行業(yè)knowhow對通用大模型進(jìn)行微調(diào)，使得安全GPT模型在安全垂直領(lǐng)域的認(rèn)知超過通用大模型，呈現(xiàn)出檢測效果好、專業(yè)性強(qiáng)、個(gè)性化診斷以及迭代快速的特點(diǎn)。相較于傳統(tǒng)AI小模型而言，公司安全GPT模型的能力更加強(qiáng)大。針對數(shù)據(jù)安全問題，公司安全GPT為自主訓(xùn)練研發(fā)，不依賴開源模型服務(wù)，訓(xùn)練數(shù)據(jù)部署在深信服托管云上，可實(shí)現(xiàn)數(shù)據(jù)不出境。

天融信在投資者交流會(huì)上表示，公司在惡意樣本、風(fēng)險(xiǎn)信息、威脅知識、安全情報(bào)等方面具有多年的海量安全數(shù)據(jù)積累，提前布局人工智能領(lǐng)域的研究與應(yīng)用。已發(fā)布了融入AI技術(shù)的防火墻、入侵防御、僵木蠕、沙箱、大數(shù)據(jù)分析、態(tài)勢感知、EDR、數(shù)據(jù)防泄漏等多款創(chuàng)新型產(chǎn)品。未來將推出更多賦能網(wǎng)絡(luò)安全行業(yè)的產(chǎn)品與服務(wù)。

美亞柏科稱，在AI監(jiān)管產(chǎn)品方面，公司已經(jīng)發(fā)布了AI-3300“慧眼”視頻圖像鑒真工作站，可以對深度合成偽造的視頻圖像、AIGC生成視頻圖像進(jìn)行監(jiān)測鑒定；公司推出的AIGC檢測平臺支持AIGC生成文本的檢測識別。后續(xù)公司將持續(xù)圍繞包括反生成式AI在內(nèi)的AI安全及監(jiān)管領(lǐng)域進(jìn)行研究并根據(jù)業(yè)務(wù)需要適時(shí)布局相關(guān)產(chǎn)品。

綠盟科技表示，公司在AI安全領(lǐng)域已布局多年，主要圍繞兩個(gè)維度：一方面是利用大數(shù)據(jù)、人工智能等技術(shù)賦能公司原有產(chǎn)品，另一方面是關(guān)注AI發(fā)展和應(yīng)用自身面臨的安全風(fēng)險(xiǎn)問題。