本站全国维修客服热线电话:400--117--9882(温馨提示:点击屏幕下方↓↓↓可直接拨打)
知名医生张文宏带货蛋白棒?不久前,某视频博主发布的视频中,张文宏医生强烈推销一款蛋白棒,让不少网友信以为真,一时销量近 1200 件。
张文宏随后作出回应称,视频是 AI 合成的," 我在发现这事后立即投诉过那个 AI 合成的视频,但是它的账号一直在换,自己最后也没精力了。这些假的 AI 合成信息就像蝗灾一样,一次又一次发生,像漫天飞过来的蝗虫一样害人 "。
目前,该涉事视频已从发布账号中移除,且该账号已被平台永久封禁。
AI 换脸技术的应用边界何在?如何打击和治理网络中滥用 AI 换脸技术的不法行为?对此,记者进行了调查采访。
" 爸妈,我现在在医院,着急用钱,麻烦再给我转两万吧 ……" 视频中,女生神态焦急地倾诉着最近遇到的难事,向父母要钱,语气恳切,看上去几乎毫无破绽。
随后,该视频发布者发布了原视频,视频中,女生只是在和掌镜的朋友正常交流对话,所说的内容和神态与上一条视频中的完全不一样。
原来,女生向父母要钱的视频是利用 AI 合成技术生成的视频。
随着 AI 技术发展,AI 换脸图片和视频成为热门现象,娱乐之余,让人真假莫辨,风险与困扰也不少。
《法治日报》记者近日调查发现,互联网上,不仅有人随意兜售 AI 合成软件," 手把手教学 ",使得制作生成 AI" 克隆人 " 视频的技术成了一门生意。还有人利用知名人士视频和声音 AI 合成新的视频,发在短视频平台上用来卖货。更有甚者,滥用 AI 换脸技术走上了违法犯罪的道路。
AI 合成技术亟待加强监管。多位受访专家建议,完善立法,明确定义深度合成技术的应用范围和法律边界,细化平台、技术提供商、内容制作者及用户的法律责任。同时,构建多元主体协同治理的体系架构,全方位、全环节整治和打击涉 AI 犯罪活动和网络黑灰产业链。
" 克隆人 " 成了生意
影音清晰真假难辨
在上述利用 AI 合成技术生成的视频介绍中,作者打出了 "AI 克隆人 ""AI 数字人 " 等标签。据作者介绍,只需提供一段有清晰人脸和声音的视频,就可以在短时间内生成一个和原视频相似的新视频,说话的内容可以自行编辑文本。
生成的视频中人物形态之自然,语言之流畅,让评论区一些网友直呼 " 恐怖 "" 真假难辨 "。
记者查看视频评论区发现,该视频作者打起了 " 暗号 " ——在一些感慨技术逼真的网友评论下方留言 "+ 薇 4 聊 …… 教学,懂得来 " ( 汉字与数字交替出现,用来代替聊天账号,暗示添加好友私聊 ) 。
记者按照提示,添加其好友询问相关视频及制作方法。昵称 "AI 小米 ××" 立刻回复道:" 想自用还是直接代理赚钱?"
据其介绍,如果是自用,可以充值 199 元成为 "AI 幻影 ××" ( 某 AI" 克隆人 " 生成平台 ) 的 2 年会员,可以立即生成 AI 合成视频共计 38 分钟,不限使用次数。而交纳 499 元则可以成为代理,号称 " 享受 60% 的首次分佣,躺赚 20% 的复购充值分佣,享受 80% 的招代理分佣 "。
几天后,当记者再次试图打开上述视频时,显示 " 视频因违规无法播放 ",违规原因 " 疑似为高风险的项目 / 引流行为 "。
" 视频里在海边游玩的不是我,而是我的数字人分身。你跟着我操作,就能定制自己的数字人,轻松实现视频流量起号 ……" 在社交平台、短视频平台上,类似以 AI 数字人、" 克隆人 " 视频引流的帖子有很多。
记者就制作 AI 数字人的流程咨询一博主。该博主在之前发帖中明确表明 " 不收费 "" 不用花钱 ",但提出要加入群聊成为会员,他会在群内发布相关操作指南和课程。
此外,在多个网购平台、二手交易平台,AI" 克隆人 " 商品也可以随意买到。记者在某网购平台检索 "AI 换脸 ",显示搜索结果不存在,但更换关键词为 "AI 换人脸视频软件 " 后,立刻出现多款此类商品,价格从几元到上百元不等。
记者点进一款名为 "AI 数字人生成软件短视频制作对口型形象声音克隆定制 AI 分身 " 的商品,咨询店主后对方回复称:" 使用软件时,您可以上传 30 秒以上的自己形象视频,然后输入文字,我们 ×× 数字人系统就可以给您生成对应口型和克隆您声音的视频了,2 分钟左右就可以生成好。您下单后客服会一对一服务到您学会使用为止。"
随即,对方发来一个标价为 98 元的下单链接,称这是购买该软件的月卡,可以制作约 30 秒以内的视频 32 个," 短视频养号一个月足以快速起号 "。
瞄准 AI 不法 " 商机 "
利用技术违法犯罪
除了直接售卖 AI 换脸技术外,还有人瞄准了 AI" 克隆人 " 的不法 " 商机 "。
前不久,天津红桥警方在一起 AI 诈骗案中,成功追回市民被骗的 83 万元。天津市民李先生此前收到了一条短信,对方自称是李先生单位的领导,要求加其社交软件详聊。
加上好友后,对方便以有急事需要资金周转为由,要求李先生向其转账,还保证事后钱款一定返还。对方还主动打来视频电话。看到视频那头出现的确实是 " 领导 ",李先生瞬间放下戒备,分 3 笔向对方汇款 95 万元。当天下午,李先生与朋友聊天时提起这件事,越想越觉得不对劲,于是报警。
接到报警后,天津警方迅速与银行开启联动机制,及时对 3 张银行卡进行紧急止付操作。银行成功冻结了涉案资金 83 万元。
据办案民警介绍,一些不法分子利用 AI 技术,将他人的脸换成熟人或亲人的脸,冒充诈骗对象的重要关系人,通过合成视频或照片来 " 以假乱真 ",扰乱被诈骗对象的视线进而实施诈骗。
据公开资料,此前,有人在社交平台用 AI 换脸成富商马云,视频连线获取网友信任,目标受众多为对 AI 缺乏认知的中老年人,之后再以 " 做扶贫项目 " 等为由骗取钱财。还有人在短视频平台上冒充演员靳东与中老年人接触,以需要钱拍戏为由诱使他人转账。
滥用 AI 换脸技术行不法之实的事件屡有发生。
对此,北京航空航天大学法学院副教授赵精武分析说,利用 AI 换脸技术进行带货等行为,如果仿冒他人,除了构成民法上对肖像权等人格权的侵害之外,根据情节轻重,还可能构成刑法上的虚假宣传、网络诈骗等犯罪行为。
" 而随意售卖 AI 合成软件的行为,倘若存在主动为犯罪行为人提供相关软件服务等情形,则可能与犯罪行为人构成共同犯罪。" 赵精武说。
" 如果通过 AI 换脸技术编造险情、灾情等,还有可能构成编造、故意传播虚假信息罪。" 北京盈科 ( 上海 ) 律师事务所数智化建设委员会副主任李悦举例说,前一阵子的 " 西藏小男孩被埋图 ",虽然使用的 AIGC 技术不是深度合成 AI 换脸,但也是使用 AI 技术。据了解,该行为人已被追究行政责任。如果其情节更严重的话,或构成编造、故意传播虚假信息罪。
李悦强调,首先必须明确,技术本身是中立的。AI 换脸作为深度合成技术的一种具体应用,虽然存在被滥用的风险,但其本身并无 " 原罪 "。目前,一些平台上的个人 " 售卖技术 " 行为,教他人使用开源项目或某些应用,本质上是在利用信息差。然而,如果课程内容专门教授如何突破深度合成应用的内容审核机制,则应当被否定。平台可以通过限流、警告、冻结账号等方式对这些视频内容进行规制。
" 虽然 AI 技术在不断进步,但目前而言,仔细看的话还是能识别 AI 合成的视频。" 李悦说,AI 合成视频往往在面部细节上存在较为显著缺陷:微表情缺失 ( 如眼角细纹、嘴角抽动难以捕捉 ) 、光影不匹配 ( 轮廓和阴影过渡不符合光线反射规律 ) 以及皮肤过于光滑 ( 缺乏毛孔、纹理和瑕疵 ) 。在眼神与表情方面,眼球运动机械化 ( 转动不连贯、眨眼频率异常 ) ,面部表情僵硬 ( 转换生硬、笑容缺乏真实感 ) 。
" 在运动过程中也会出现明显的问题,比如脸部变形等。观看手部动作也是一个比较快速识别的技巧,曾经很长一段时间,AI 在处理人手的时候会出现非常多的问题,比如关节畸形等。" 李悦说。
" 据我观察,AI 生成的语音通常更加流畅,语速更快,且较少出现‘额’‘嗯’‘也就是说’等语气词或停顿。" 李悦说,虽然声音克隆技术近年来取得了显著进步,几乎能够达到以假乱真的程度。但如果仔细辨别,仍然可以识别出 AI 生成的声音。毕竟截至目前,尚无任何一款 AI 能够通过图灵测试。
完善立法强化执法
企业备案内容标识
AI 合成技术的广泛应用,需要法治的护航。
据赵精武介绍,我国目前对于 AI 合成技术已经作出了较为充分的规定,例如《互联网信息服务深度合成管理规定》《生成式人工智能服务暂行管理办法》等,明确要求深度合成服务提供者落实信息安全主体责任,使用者不得滥用深度合成服务。
李悦介绍说,我国于 2023 年颁布《互联网信息服务深度合成管理规定》,针对该技术的规范管理迈出了重要一步。在人工智能整体领域,我国也持续推出了一系列相关规定,包括目前正在研讨的人工智能法。
" 当前全球范围内 AI 技术竞赛异常激烈,我国在这一领域仍处于‘追逐者’的位置。因此,我们应更深入地思考:究竟需要构建怎样的人工智能法律体系。这一体系既要能够适应技术快速发展的需求,保障社会公共利益,促进人工智能产业的健康可持续发展,又要助力我国在 AI 竞赛中提升竞争力,实现从‘追逐者’向‘引领者’的转变,从而在全球 AI 发展格局中占据更有利的位置。" 李悦说。
受访专家指出,目前精准打击利用 AI 合成技术违法犯罪行为还存在一些难点。
李悦说,技术难题主要体现在匿名性,犯罪分子使用匿名身份和虚拟货币;取证困难,需证明视频真实性、来源及目的,以及跨境性,一些犯罪工具或行为涉及境外。法律难题则包括责任链条长,涉及 AI 工具提供者、制作者和传播者;主观性认定困难,需证明行为人明知违法,且证据标准高。
" 滥用 AI 技术实施犯罪行为往往与传统犯罪行为 ( 如电信诈骗、传播网络谣言等 ) 相结合,需要公安机关联合各大网络平台采取更为直接、有效的治理措施。" 赵精武说。
为此,他建议构建多元主体协同治理的体系架构:公安机关与网信、工信等部门联动执法,全方位、全环节整治和打击涉 AI 犯罪活动和网络黑灰产业链;执法部门同步更新监管技术,推动人工智能技术在刑事侦查等领域的应用,进而更高效、更精准地打击滥用 AI 犯罪活动;网络平台积极落实平台主体责任,积极配合执法活动,严格落实网络实名制和黑名单制度,严防各类犯罪行为人通过更换账号登录方式躲避平台监管。
李悦建议,立法方面,需明确定义深度合成技术的应用范围和法律边界,细化平台、技术提供商、内容制作者及用户的法律责任。同时,加大对利用 AI 技术实施犯罪行为的刑事处罚力度,并完善针对 AI 合成视频的证据规则,明确其法律效力。
" 技术方面,推广 AI 合成视频的检测工具和溯源技术,研发高效、低成本的检测服务,并向公众开放。利用水印技术对 AI 生成内容进行标识,便于追踪和识别。" 李悦说,此外,可以建立 AI 企业备案制度,加强对企业资质、数据安全和算法透明度的监管。
李悦提出,进一步强化平台责任,要求平台对用户发布的内容进行审核,及时处理违法信息。制定 AI 行业行为准则和道德规范,推动行业自律和技术应用的伦理合规性。建立跨国执法合作机制,共同打击跨境 AI 犯罪,并共享 AI 犯罪案例和犯罪手法信息,提升全球范围内的防范和治理能力。
"AI 技术的宣传教育也很重要。" 李悦说,对执法人员、司法人员进行 AI 技术知识培训,提升其专业能力和执法效率。同时,通过媒体宣传提高公众对 AI 犯罪的防范意识,普及 AI 技术的基本知识和风险。
来源:法治日报