生成式AI不能沦为造假工具
近年来,生成式AI飞速发展,曾经需要一定专业技能才能完成的视频制作,如今可以轻松完成。但技术被一些人滥用,也带来一系列乱象:有消费者伪造“买家秀”骗取退款,社交平台出现大量虚假明星合影,诈骗分子伪造音视频“围猎”老年人……AI原本是表达创意、提高工作效率的好帮手,如今却有沦为造假工具的危险,这一现象必须引起警惕。 9月份开始施行的
重视防范AI造假风险
生成式人工智能可以成为制造、传播虚假信息的工具,利用AI深度伪造会成为诈骗活动的“新武器”。在大国博弈的背景下,生成式人工智能还可能被用作网络攻击的工具。 重视和防范这些风险,必须加强生成式人工智能安全监管,筑牢安全底线,推动智能向善,为防范化解相关风险隐患、持续推动产业发展与技术进步提供保障。 建立安全监管...
生成式AI内容被滥用,专家详解如何辨真
上海政法学院上海司法研究所讲师周陈介绍，为规避检测，新型AI伪造手段能实现对抗性攻击，即在生成内容中嵌入人眼难以察觉的噪声，专门用于欺骗检测模型，将其判断为“真实”，有的工具支持去除“AI生成内容”标识选项，为违法行为提供了便利。同时，借助AI多模态融合能力，使得AI伪造不仅能替换脸和声音，还能同步生成对应...
人工智能产业日报(11.21):AI赋能产业升级
生成式AI不能沦为造假工具 某演员遭遇AI盗播，引发公众对AI滥用讨论。《人工智能生成合成内容标识办法》实施，平台响应出台细则。但仍存在未标识AI内容误导观众问题。需构建多层次治理体系，强化法律保障，加强监管，升级技术手段，以减少AI造假风险。 本文由小欧AI基于亿欧数据生成，如有问题及建议，欢迎通过网站...
别让AI工具成为“谣言制造机”
AI工具应该服务社会,而不是成为误导公共认知、扰乱公共秩序的“谣言制造机”。对于假新闻这种随着技术发展不断迭代的“疑难杂症”,还需要各方共同配合、合力应对。 正如前文所说,AI造谣一般具有一定的炮制套路和替换公式,对此,平台一方面要着力发展事实核查方面的反谣言工具,快速甄别和过滤自我矛盾、与事实相悖的AI生成...
专家解读|用标识之“规”,筑AI发展之“道”_中央网络安全和信息化...
然而,技术红利往往同风险挑战如影随形。生成式人工智能系统性动摇了社会信任的“视觉真实”基础:当AI能够以假乱真地炮制具有严密逻辑的网络谣言,“数字复活”已故名人进行商业推广,利用合成影像实施金融诈骗时,图像和视频不再可信,“眼见为实”的既定认知正遭受前所未有的冲击,更从根本上侵蚀社会交往的信任基石。
Gartner发布新兴技术指南:生成式人工智能和深度伪造对身份验证的影响...
文章探讨了生成式人工智能驱动的深度伪造对身份验证系统构成的威胁,强调了活体检测技术的重要性,以及身份验证产品领导者需要采取多层防御措施,包括主动和被动检测,以及利用威胁情报来对抗日益复杂的攻击。 使用生成式人工智能(GenAI)技术生成的 Deepfakes(深度伪造) 对身份验证的完整性构成了根本威胁。身份验证产品领导者必...
严防生成式AI“深度造假”
AI作为工具并不具备判断力，其生成的结果是基于数据投喂和算力养成的综合产物，那么，这些数据是否真实合法，直接决定了AI是否能大规模应用。日前，国家网信办发布《生成式人工智能服务管理办法（征求意见稿）》（以下简称《征求意见稿》），向社会征求意见。《征求意见稿》明确“国家支持人工智能算法、框架等基础技术的...
生成式AI不只是工具,它正在重构协作的根本逻辑
许多人仍将AI视为提升效率的数字工具，但这种观点正是许多AI项目失败的根源。这不只是认知问题，更是设计思维与组织逻辑的根本错置。本文试图提出一个更具解释力的观点：生成式AI并非延伸性工具，而是一种具能动性的系统。错把它当作工具，不只是理解错误，更会导致整个组织在角色分配、流程设计、顾客互动与战略方向...
数科法评|人工智能(AI)技术“犯罪化”应用(下)
生成式AI被用于犯罪的情况 人工智能(AI)技术飞速发展,一些不法分子利用其进行违法犯罪活动,给网络安全带来了严峻挑战。 (一)AI被用作“恶意”犯罪的工具,目前可以将其分为两类 1、使用AI的犯罪:指的是使用AI作为实施传统犯罪的工具,如盗窃、欺诈或伪造。犯罪分子可以使用AI创建虚假身份,又或是利用人工合成的身份...
工信部:今年我国生成式AI市场规模有望突破10万亿元;抖音严打AIGC...
抖音严打AIGC造假等六种新型违法违规行为 信息来源:新京报 12月19日消息,抖音官方账号发布公告,严厉打击包括“AIGC (生成式人工智能)造假”在内的六种新型违规行为。 抖音安全中心相关负责人介绍,近期,有黑灰产组织试图通过“AIGC...
生成式人工智能用于学术研究:可以规范,不能拒绝_澎湃号·湃客...
生成式人工智能用于学术研究:可以规范,不能拒绝 原创 纪光伟 纪光伟健康科普 ChatGPT于2022年11月30日发布以来,引发了学术界的广泛关注。ChatGPT是人工智能技术驱动的自然语言处理工具,它的强大功能给我们带来了颠覆性的改变,它不但能够聊天和交流,还能完成科研和论文的写作等一系列任务。
AI生成式,不能成为抄袭或侵权的理由
总之，AI生成式不能成为抄袭或侵权的理由。我们应该在监管力度、选择辨别能力、举报通道等方面加强防范措施...
明查·实验室|AI造假对决AI核假,谁占上风?
总结而言，在当下，生成式AI尚不能对未经核查的消息进行相对准确的判断，甚至有可能制造“AI幻觉”，引发虚假信息进一步传播的风险。这样的结果并不令人意外。因为事实核查本就不是一场简单的信息检索游戏，它常常需要核查者本身的逻辑思考能力和创造力。尽管AI造假耸人听闻，但当下，借助专业的核查方法论和工具，人们仍...
生成式AI的前景和风险?Sora进阶版“文生3D建模”即将诞生! - 哔哩...
假令风歇时下来,犹能簸却沧溟水。 假如文生3D视频还很遥远呢?游戏行业的跨越式发展是不是也很遥远?目前的情况是,生成式AI爆发出涌现的能力以后,已经开始打破以游戏领域为代表的文化行业的“不可能三角”,也就是“成本、质量和速度”不可能三角,在以前,我们不可能同时兼顾这三个方面,最多只能兼顾两个方面。而...
AI成谎言制造机,资本涌向打假科技|界面新闻 · JMedia
2020年“犯罪科学”的一项报告显示,在未来15年内AI可能创造出的安全威胁中,深度伪造被列为最严重的一项,而哈里斯民调机构的调查也显示,美国有67%的成年人对生成式人工智能技术的安全性倍感担忧,只有约29%的被调查者表示从未用过这项技术也并不打算使用。
Nature:论文撰写使用AI工具构成抄袭吗?界限在哪里?
相关阅读:《Science》更新投稿政策:放宽ChatGPT等AI在论文中的使用限制 对TOP100学术出版商和期刊的分析发现,截至2023年10月,24%的出版商和87% 的期刊发布了生成式AI的使用指南[4]。几乎所有出版商都表示,AI工具不能被列为作者。但在允许使用的AI类...
研究显示生成式AI工具答案质量堪忧:三分之一缺乏可靠来源支持
IT之家消息，一项分析显示，生成式人工智能（AI）工具及其驱动的深度研究智能体与搜索引擎，常常会给出未经证实且带有偏见的回答，而这些回答与其引用的信息来源并不相符。该分析发现，AI 工具提供的答案中，约有三分之一缺乏可靠来源支持。其中，OpenAI 旗下的 GPT-4.5 表现更差，这一比例高达 47%。Salesforce ...
生成式人工智能服务管理办法公开征求意见 违者如构成犯罪可追刑责
此前，生成式人工智能已引发多轮争议。生成式AI创建的内容高度逼真，普通人越来越难准确区分真人和 AI 生成内容，伪造、扭曲现实、造谣将变得越来越容易，有图也不是真相，有视频可能也不是真相。数据安全也是值得关注的问题之一，多国政府因数据安全问题调查OpenAI公司。人工智能的发展亟待规范和约束。征求意见稿：采取...