【学术速递】有趣的换脸系统

换脸技术自2017年deepfake的兴起引发了广泛的关注，目前已成为计算机视觉领域非常热门的前沿研究方向。这项技术在电影拍摄、视频编辑、身份保护等方面有非常丰富的应用场景。在直播场合中，由于售卖商品、玩游戏、表演等业务的需求，主播曝光的机会越来越多，这使得主播们更加关注自己的隐私保护，观众们也有着更加多元的娱乐需求。

为了解决这一需求，我们结合各项人脸领域的深度学习技术，开发了第一款可在线使用的换脸直播系统。我们的换脸技术使用Simswap算法，如图1所示，算法在传统编解码器中间增加了ID注入模块，将源人脸身份信息利用自适应实例归一化(AdaIN)层嵌入到目标人脸的特征中，在保持目标人脸属性(如表情，姿态等)信息的前提下，完成人脸身份的转换。

图1  Simswap算法

我们的系统基于B/S框架。如图2所示，系统包括了视频换脸、源人脸库管理、配置管理和视频转换任务管理四大模块。用户端网页可通过调用摄像头采集视频，将视频流发送给后端服务器的视频换脸模块，处理完成后再分发给用户和所有的在线观众端。

图2  系统架构

我们系统的主页面如图3所示，系统支持用户自主选择源人脸进行在线实时面部替换，并能够通过上传人脸素材来丰富源脸数据库。此外系统提供了丰富的换脸配置选项，让用户灵活地精细调整换脸效果。用户在系统中还可以提交视频文件换脸任务并提供下载，为个人娱乐用户也提供了视频换脸编辑的需求。

图3  系统用户主页面

项目三位成员均来自ダファベット 入金不要AIMC实验室：

指导老师：

杨刚，中国人民大学计算机系副教授、硕士生导师。研究方向包括人工智能算法在多媒体领域的应用、演化算法和群智能算法的优化、深度神经网络模型研究、人工神经网络联想记忆功能研究等。