近期，基于生成对抗网络（GAN）的技术，对视频或者音频合成人类的假人脸、假声音的诈骗案件时有发生。虽然这些应用目前而言并未有完善的法律进行限制，但它们已经在网络犯罪中开始发芽。
这种行为在国外被称为“Deepfake”（深度伪造），名称来源于深度学习与伪造的组合。GAN的应用范围较广，扩展性也强，可应用于图像生成、数据增强和图像处理等领域。简单地说它可以分析一个人数千个语音记录（图像），在分析结果上创建一个听起来“一样”的文件（音频或图像）。
围绕这项技术的讨论越来越激烈，人们开始担忧不法分子通过其模仿政客或者公众人物传播虚假的信息，例如通过发表极端的主义言论影响选举结果或者煽动暴力等。
今年8月，在西班牙就有通过Deepfake技术诈骗公司22万欧元的案件发生，其主要的方式是诈骗者通过模仿该公司ceo的声音，对公司员工进行诈骗。
语音诈骗非常常见，但是通过人工智能与深度学习进行犯罪的，目前还是比较“新鲜”，据网上资料统计，2013年-2017年网上诈骗案件增长了350%，一旦犯罪分子利用AI技术，那么这个比例只会有增不减。
AI作为一项新技术，本身并无善恶之分，人们可以用其进行制止犯罪，也可以用于实施犯罪。从悲观的角度上看，未来企业用户的IT系统与网络威胁将迎来更高层次的挑战，因此对于网络安全而言任重道远。