脸部识别技术在PC端的应用已经相当成熟,今年人脸识别技术的突然走红和移动设备处理能力的提升有很大关系。
今年3月举办的德国CeBIT大会开幕式上,马云演示了蚂蚁金服的Smile to Pay扫脸技术,并刷自己的脸为嘉宾从淘宝网上购买了一枚20欧元的1948年汉诺威纪念邮票。
就在不久前,iOS用户已经可以通过“刷脸”登陆支付宝。人脸识别技术也受到资本得青睐,Snapchat 1.5亿美金收购Looksery,植入美颜和搞怪的功能提升用户活跃度;苹果则是收购瑞士的实时动作捕捉技术创业公司Faceshift。
渐热的人脸识别技术正在引爆刷脸时代,究竟什么是人脸识别技术?目前人脸识别技术分为三大模块:
人脸检测(Face Detection):负责在一张图像中找出大体的人脸位置
人脸对齐(Face Alignment):负责精确定位人脸特征点
人脸识别(Face Recognition):比对人脸特征点和数据库信息,判断用户身份
前2个模块完成后,人脸识别技术分成了两个方向,分别是人脸识别和人脸追踪。人脸追踪是通用户面部特征点驱动一张虚拟的脸。
人脸识别将随移动端普及迎来爆发
七维视觉是一家专注于应用级的图形图像研发的公司,他们成功为2015年春晚打造了虚拟主持人“阳阳”,用到的就是人脸追踪技术。羊年春晚直播中,以羊为原型的虚拟主持人“阳阳”贯穿始终,可爱的外形、与撒贝宁伶牙俐齿的对话给很多观众留下了深刻的印象。实际上真正驱动阳阳的是央视著名少儿节目主持人“金龟子”。
一侧的深度摄像头记录下金龟子的一举一动,并传送特征点到另一台播出的机器,另一侧实拍主持人撒贝宁的摄像机进入到渲染引擎里,将阳阳和撒贝宁合成到一起,整个过程延迟不超过3帧。早在2012年欧洲杯的《豪门盛宴》中,七维视觉总经理殷元江就用同样的方式把球员植入了节目当中。
脸部识别技术在PC端的应用已经相当成熟,今年人脸识别技术的突然走红和移动设备处理能力的提升有很大关系。“在这段时间内跟脸有关的产品集中爆发,很重要的原因就是在手机上终于跑得动了,特别是很多安卓机在性能上有了很大的提升,在以前的手机上运行经常是卡顿的。”殷元江告诉记者。
硬件条件成熟后,七维视觉推出了主打换脸功能的App——爱秀。这款产品被殷元江看作是多年来积累技术的一个输出,用户端的数据能帮助他们不断完善算法。用户打开App后,在屏幕上能看到贴上默认脸模的自己,当用户上下左右移动头部时会发现,在眼睛能看到屏幕的前提下,无论何种角度,脸模都能实时跟踪人脸区域。
用户可以在素材库中挑选喜欢的脸膜,以球星梅西为例,手机中呈现出梅西的一张脸,当用户眨眼时,屏幕中梅西也会跟着眨眼,拍摄后的视频或照片可以分享到社交网站。市面上的同类产品还有来自百度的脸优,二者的产品理念基本相同,用户体验上有细微的不同,脸膜贴合面部会出现轻微的抖动现象。
通过面部特征点来驱动屏幕中梅西的脸,当用户眨眼时,梅西也会跟着眨眼。
“换脸又叫人脸跟踪,是所有App里技术含量最高的一个品类,涉及到了摄像头识别跟踪人脸、计算机视觉的算法、GPU渲染等。”殷元江说道。爱秀实现明星换脸的过程可以分为3步:
根据明星面部的83个特征点提取脸膜存放在素材库;
前置摄像头检测出人脸在画面中的位置,就像手机、相机拍照时可以框处人脸的区域;
识别用户的人脸特征点并和脸膜相匹配,在用户的驱动下进行实时渲染。
目前,爱秀的内侧版本已经实现全脸跟踪,未来还会拓展到耳朵的跟踪,并加入耳饰,提升可玩性,双人脸部跟踪的版本也即将上线。人脸跟踪技术未来将会广泛应用在试妆、试戴眼镜等领域。
两大应用场景:娱乐、安全
2013年,光线传媒投资了七维视觉,影视传媒公司为什么会投资一家技术公司?
显然,下一个改变时代的技术是VR和AR,这两者都会给影视行业带来翻天覆地的变化。结合人脸三维重建和面部表情实时跟踪技术,在VR、AR以及动漫游戏产业领域有广阔的前景,游戏玩家无需再创建游戏角色,可以直接通过摄像头进行面部捕捉、三维重建、表情跟踪,游戏当中的主角就是玩家自己,对话和表情可以直接实时传递到游戏中。
未来也不再是简单的把脸膜贴合到用户的脸上,而是直接驱动一个动漫角色,比如整个头部都是史莱克。基于深度摄像头的追踪、手部、躯体追踪将会帮助多媒体互动娱乐行业迈上新的台阶。
在很多动作大片中,开启关键之门的密码都是人脸———通过摄像头扫描脸部特征,符合则自动开启大门,反之警铃大作。依次通过人脸检测、人脸对齐、人脸识别三个模块,才能完成验证。人脸支付存在的一大问题就是识别率不高,完美光线下识别率能达到90%,特殊光影下只有60%。以淘宝为例,每天上亿的交易量,即便是99.99%也是远远不够的。