漫畫/李曉軍 調查動機 知名醫(yī)生張文宏帶貨蛋白棒？不久前，某視頻博主發(fā)布的視頻中，張文宏醫(yī)生強烈推銷一款蛋白棒，讓不少網友信以為真，一時銷量近1200件。 張文宏隨后作出回應稱，視頻是AI合成的，“我在發(fā)現這事后立即投訴過那個AI合成的視頻，但是它的賬號一直在換，自己最后也沒精力了。這些假的AI合成信息就像蝗災一樣，一次又一次發(fā)生，像漫天飛過來的蝗蟲一樣害人”。 目前，該涉事視頻已從發(fā)布賬號中移除，且該賬號已被平臺永久封禁。 AI換臉技術的應用邊界何在？如何打擊和治理網絡中濫用AI換臉技術的不法行為？對此，記者進行了調查采訪。 “爸媽，我現在在醫(yī)院，著急用錢，麻煩再給我轉兩萬吧……”視頻中，女生神態(tài)焦急地傾訴著最近遇到的難事，向父母要錢，語氣懇切，看上去幾乎毫無破綻。 隨后，該視頻發(fā)布者發(fā)布了原視頻，視頻中，女生只是在和掌鏡的朋友正常交流對話，所說的內容和神態(tài)與上一條視頻中的完全不一樣。 原來，女生向父母要錢的視頻是利用AI合成技術生成的視頻。 隨著AI技術發(fā)展，AI換臉圖片和視頻成為熱門現象，娛樂之余，讓人真假莫辨，風險與困擾也不少。 《法治日報》記者近日調查發(fā)現，互聯網上，不僅有人隨意兜售AI合成軟件，“手把手教學”，使得制作生成AI“克隆人”視頻的技術成了一門生意。還有人利用知名人士視頻和聲音AI合成新的視頻，發(fā)在短視頻平臺上用來賣貨。更有甚者，濫用AI換臉技術走上了違法犯罪的道路。 AI合成技術亟待加強監(jiān)管。多位受訪專家建議，完善立法，明確定義深度合成技術的應用范圍和法律邊界，細化平臺、技術提供商、內容制作者及用戶的法律責任。同時，構建多元主體協同治理的體系架構，全方位、全環(huán)節(jié)整治和打擊涉AI犯罪活動和網絡黑灰產業(yè)鏈。 “克隆人”成了生意 影音清晰真假難辨 在上述利用AI合成技術生成的視頻介紹中，作者打出了“AI克隆人”“AI數字人”等標簽。據作者介紹，只需提供一段有清晰人臉和聲音的視頻，就可以在短時間內生成一個和原視頻相似的新視頻，說話的內容可以自行編輯文本。 生成的視頻中人物形態(tài)之自然，語言之流暢，讓評論區(qū)一些網友直呼“恐怖”“真假難辨”。 記者查看視頻評論區(qū)發(fā)現，該視頻作者打起了“暗號”——在一些感慨技術逼真的網友評論下方留言“+薇4聊……教學，懂得來”(漢字與數字交替出現，用來代替聊天賬號，暗示添加好友私聊)。 記者按照提示，添加其好友詢問相關視頻及制作方法。昵稱“AI小米××”立刻回復道：“想自用還是直接代理賺錢？” 據其介紹，如果是自用，可以充值199元成為“AI幻影××”(某AI“克隆人”生成平臺)的2年會員，可以立即生成AI合成視頻共計38分鐘，不限使用次數。而交納499元則可以成為代理，號稱“享受60%的首次分傭，躺賺20%的復購充值分傭，享受80%的招代理分傭”。 幾天后，當記者再次試圖打開上述視頻時，顯示“視頻因違規(guī)無法播放”，違規(guī)原因“疑似為高風險的項目/引流行為”。 “視頻里在海邊游玩的不是我，而是我的數字人分身。你跟著我操作，就能定制自己的數字人，輕松實現視頻流量起號……”在社交平臺、短視頻平臺上，類似以AI數字人、“克隆人”視頻引流的帖子有很多。 記者就制作AI數字人的流程咨詢一博主。該博主在之前發(fā)帖中明確表明“不收費”“不用花錢”，但提出要加入群聊成為會員，他會在群內發(fā)布相關操作指南和課程。 此外，在多個網購平臺、二手交易平臺，AI“克隆人”商品也可以隨意買到。記者在某網購平臺檢索“AI換臉”，顯示搜索結果不存在，但更換關鍵詞為“AI換人臉視頻軟件”后，立刻出現多款此類商品，價格從幾元到上百元不等。 記者點進一款名為“AI數字人生成軟件短視頻制作對口型形象聲音克隆定制AI分身”的商品，咨詢店主后對方回復稱：“使用軟件時，您可以上傳30秒以上的自己形象視頻，然后輸入文字，我們××數字人系統(tǒng)就可以給您生成對應口型和克隆您聲音的視頻了，2分鐘左右就可以生成好。您下單后客服會一對一服務到您學會使用為止?！?br> 隨即，對方發(fā)來一個標價為98元的下單鏈接，稱這是購買該軟件的月卡，可以制作約30秒以內的視頻32個，“短視頻養(yǎng)號一個月足以快速起號”。 瞄準AI不法“商機” 利用技術違法犯罪 除了直接售賣AI換臉技術外，還有人瞄準了AI“克隆人”的不法“商機”。 前不久，天津紅橋警方在一起AI詐騙案中，成功追回市民被騙的83萬元。天津市民李先生此前收到了一條短信，對方自稱是李先生單位的領導，要求加其社交軟件詳聊。 加上好友后，對方便以有急事需要資金周轉為由，要求李先生向其轉賬，還保證事后錢款一定返還。對方還主動打來視頻電話?？吹揭曨l那頭出現的確實是“領導”，李先生瞬間放下戒備，分3筆向對方匯款95萬元。當天下午，李先生與朋友聊天時提起這件事，越想越覺得不對勁，于是報警。 接到報警后，天津警方迅速與銀行開啟聯動機制，及時對3張銀行卡進行緊急止付操作。銀行成功凍結了涉案資金83萬元。 據辦案民警介紹，一些不法分子利用AI技術，將他人的臉換成熟人或親人的臉，冒充詐騙對象的重要關系人，通過合成視頻或照片來“以假亂真”，擾亂被詐騙對象的視線進而實施詐騙。 據公開資料，此前，有人在社交平臺用AI換臉成富商馬云，視頻連線獲取網友信任，目標受眾多為對AI缺乏認知的中老年人，之后再以“做扶貧項目”等為由騙取錢財。還有人在短視頻平臺上冒充演員靳東與中老年人接觸，以需要錢拍戲為由誘使他人轉賬。 濫用AI換臉技術行不法之實的事件屢有發(fā)生。 對此，北京航空航天大學法學院副教授趙精武分析說，利用AI換臉技術進行帶貨等行為，如果仿冒他人，除了構成民法上對肖像權等人格權的侵害之外，根據情節(jié)輕重，還可能構成刑法上的虛假宣傳、網絡詐騙等犯罪行為。 “而隨意售賣AI合成軟件的行為，倘若存在主動為犯罪行為人提供相關軟件服務等情形，則可能與犯罪行為人構成共同犯罪?！壁w精武說。 “如果通過AI換臉技術編造險情、災情等，還有可能構成編造、故意傳播虛假信息罪?！北本┯?上海)律師事務所數智化建設委員會副主任李悅舉例說，前一陣子的“西藏小男孩被埋圖”，雖然使用的AIGC技術不是深度合成AI換臉，但也是使用AI技術。據了解，該行為人已被追究行政責任。如果其情節(jié)更嚴重的話，或構成編造、故意傳播虛假信息罪。 李悅強調，首先必須明確，技術本身是中立的。AI換臉作為深度合成技術的一種具體應用，雖然存在被濫用的風險，但其本身并無“原罪”。目前，一些平臺上的個人“售賣技術”行為，教他人使用開源項目或某些應用，本質上是在利用信息差。然而，如果課程內容專門教授如何突破深度合成應用的內容審核機制，則應當被否定。平臺可以通過限流、警告、凍結賬號等方式對這些視頻內容進行規(guī)制。 “雖然AI技術在不斷進步，但目前而言，仔細看的話還是能識別AI合成的視頻?！崩類傉f，AI合成視頻往往在面部細節(jié)上存在較為顯著缺陷：微表情缺失(如眼角細紋、嘴角抽動難以捕捉)、光影不匹配(輪廓和陰影過渡不符合光線反射規(guī)律)以及皮膚過于光滑(缺乏毛孔、紋理和瑕疵)。在眼神與表情方面，眼球運動機械化(轉動不連貫、眨眼頻率異常)，面部表情僵硬(轉換生硬、笑容缺乏真實感)。 “在運動過程中也會出現明顯的問題，比如臉部變形等。觀看手部動作也是一個比較快速識別的技巧，曾經很長一段時間，AI在處理人手的時候會出現非常多的問題，比如關節(jié)畸形等。”李悅說。 “據我觀察，AI生成的語音通常更加流暢，語速更快，且較少出現‘額’‘嗯’‘也就是說’等語氣詞或停頓?！崩類傉f，雖然聲音克隆技術近年來取得了顯著進步，幾乎能夠達到以假亂真的程度。但如果仔細辨別，仍然可以識別出AI生成的聲音。畢竟截至目前，尚無任何一款AI能夠通過圖靈測試。 完善立法強化執(zhí)法 企業(yè)備案內容標識 AI合成技術的廣泛應用，需要法治的護航。 據趙精武介紹，我國目前對于AI合成技術已經作出了較為充分的規(guī)定，例如《互聯網信息服務深度合成管理規(guī)定》《生成式人工智能服務暫行管理辦法》等，明確要求深度合成服務提供者落實信息安全主體責任，使用者不得濫用深度合成服務。 李悅介紹說，我國于2023年頒布《互聯網信息服務深度合成管理規(guī)定》，針對該技術的規(guī)范管理邁出了重要一步。在人工智能整體領域，我國也持續(xù)推出了一系列相關規(guī)定，包括目前正在研討的人工智能法。 “當前全球范圍內AI技術競賽異常激烈，我國在這一領域仍處于‘追逐者’的位置。因此，我們應更深入地思考：究竟需要構建怎樣的人工智能法律體系。這一體系既要能夠適應技術快速發(fā)展的需求，保障社會公共利益，促進人工智能產業(yè)的健康可持續(xù)發(fā)展，又要助力我國在AI競賽中提升競爭力，實現從‘追逐者’向‘引領者’的轉變，從而在全球AI發(fā)展格局中占據更有利的位置?！崩類傉f。 受訪專家指出，目前精準打擊利用AI合成技術違法犯罪行為還存在一些難點。 李悅說，技術難題主要體現在匿名性，犯罪分子使用匿名身份和虛擬貨幣；取證困難，需證明視頻真實性、來源及目的，以及跨境性，一些犯罪工具或行為涉及境外。法律難題則包括責任鏈條長，涉及AI工具提供者、制作者和傳播者；主觀性認定困難，需證明行為人明知違法，且證據標準高。 “濫用AI技術實施犯罪行為往往與傳統(tǒng)犯罪行為(如電信詐騙、傳播網絡謠言等)相結合，需要公安機關聯合各大網絡平臺采取更為直接、有效的治理措施。”趙精武說。 為此，他建議構建多元主體協同治理的體系架構：公安機關與網信、工信等部門聯動執(zhí)法，全方位、全環(huán)節(jié)整治和打擊涉AI犯罪活動和網絡黑灰產業(yè)鏈；執(zhí)法部門同步更新監(jiān)管技術，推動人工智能技術在刑事偵查等領域的應用，進而更高效、更精準地打擊濫用AI犯罪活動；網絡平臺積極落實平臺主體責任，積極配合執(zhí)法活動，嚴格落實網絡實名制和黑名單制度，嚴防各類犯罪行為人通過更換賬號登錄方式躲避平臺監(jiān)管。 李悅建議，立法方面，需明確定義深度合成技術的應用范圍和法律邊界，細化平臺、技術提供商、內容制作者及用戶的法律責任。同時，加大對利用AI技術實施犯罪行為的刑事處罰力度，并完善針對AI合成視頻的證據規(guī)則，明確其法律效力。 “技術方面，推廣AI合成視頻的檢測工具和溯源技術，研發(fā)高效、低成本的檢測服務，并向公眾開放。利用水印技術對AI生成內容進行標識，便于追蹤和識別?！崩類傉f，此外，可以建立AI企業(yè)備案制度，加強對企業(yè)資質、數據安全和算法透明度的監(jiān)管。 李悅提出，進一步強化平臺責任，要求平臺對用戶發(fā)布的內容進行審核，及時處理違法信息。制定AI行業(yè)行為準則和道德規(guī)范，推動行業(yè)自律和技術應用的倫理合規(guī)性。建立跨國執(zhí)法合作機制，共同打擊跨境AI犯罪，并共享AI犯罪案例和犯罪手法信息，提升全球范圍內的防范和治理能力。 “AI技術的宣傳教育也很重要?！崩類傉f，對執(zhí)法人員、司法人員進行AI技術知識培訓，提升其專業(yè)能力和執(zhí)法效率。同時，通過媒體宣傳提高公眾對AI犯罪的防范意識，普及AI技術的基本知識和風險。 來源：法治日報 |
