Chinaunix

标题: 【有奖讨论】是该好好了解一下人脸图像技术与应用了——它已无处不在！ [打印本页]

作者: 飘絮絮絮丶 时间: 2020-10-27 10:07
标题: 【有奖讨论】是该好好了解一下人脸图像技术与应用了——它已无处不在！

本期获奖名单：

@renxiao2003
@nail78
@forgaoqiang
@lbseraph
@aloki

及时联系我提交地址哦，为大家邮寄礼品

话题背景：

在所有的图像中，人脸图像是研究人员最多，应用最广泛，也是我们每天无时无刻不在接触的图像。人脸的检测和识别使我们摆脱了传统的数字密码支付，带来了便利的刷脸支付，让追捕犯罪分子、找寻走失的儿童和老人变得更加容易。人脸图像的美容技术，催生了美颜相机，增强了社交平台的娱乐性以及被拍摄者的自信。人脸的分析技术增加了产品对使用者的了解，人脸的编辑技术不断降低了内容创作的成本。机械工业出版社的《深度学习之人脸图像算法：核心算法与案例实战》一书，由浅入深、全面系统地介绍人脸图像的各个研究方向和应用场景，包括人脸图像与特征基础、深度学习基础、人脸数据集、人脸检测、人脸关键点检测、人脸识别、人脸属性识别、人脸属性分割、人脸美颜与美妆、人脸三维重建及人脸属性编辑。

话题讨论：

（1）“天天P图”“抖音”“快手”等热门App上的人脸特效都用了哪些人像处理技术？
（2）人脸检测和识别的核心算法是什么？目前还有哪些待攻克的难题？
（3）如何识别和改变人脸表情、颜值、性别及展现的年龄？都有什么应用场景？
（4）人脸美颜技术的最新应用是什么？如何从传统的磨皮美白过度到智能化妆？
（5）三维人脸图像技术与二维人脸图像技术相比有什么不同？如何进行学习？

活动时间：2020年10月27日-2020年11月20日

本期奖品：

最佳积极参与经验分享奖5名，奖励价值119元的《深度学习之人脸图像算法：核心算法与案例实战》图书1本。

深度学习之人脸图像处理：核心算法与案例实战
Face Image Processing by Deep Learning：Core Algorithms and Practices
言有三著
书号：978-7-111-66025-5
印张：24（共384页）
书脊：18mm
定价：119.00元
成品尺寸：186*240
用纸：70克胶
覆膜方式：光膜
印数：4000
上架建议：计算机/人工智能

内容简介：

本书由浅入深、全面系统地介绍人脸图像的各个研究方向和应用场景，包括但不限于基于深度学习的各个方向的核心技术。本书理论体系完备，讲解时提供大量实例，可供读者实战演练。本书涵盖的内容非常广泛，从基本的人脸数据集发展历史和人脸检测开始，分别讲述在此基础上进行的人脸图像处理的相关技术与应用，涉及身份识别、安全认证、人机交互和娱乐社交等领域。
本书共11章，涵盖的主要内容有人脸图像与特征基础、深度学习基础、人脸数据集、人脸检测、人脸关键点检测、人脸识别、人脸属性识别、人脸属性分割、人脸美颜与美妆、人脸三维重建及人脸属性编辑。
本书适合计算机视觉领域的初学者及所有在人脸图像算法领域想要有所提高的工程技术人员、学生及教职工阅读。读者既可以将本书作为核心算法书籍学习理论知识，也可以将本书作为工程参考手册查阅相关技术。

参与方式：直接在该主题下回帖即可。

图书购买：

京东：https://item.jd.com/12927878.html
当当：http://product.dangdang.com/28991374.html

本期嘉宾：

言有三真名龙鹏。2012年本科毕业于华中科技大学，后保研至中国科学院并于2015年毕业。先后在奇虎360人工智能研究院和陌陌深度学习实验室从事计算机视觉相关工作，积累了丰富的传统图像处理算法研究心得和深度学习项目实战经验。运营微信公众号“有三AI”和知识星球“有三AI”等社区，内容覆盖深度学习理论、深度学习开源框架、模型架构设计与优化，以及深度学习在计算机视觉和自然语言处理等领域的核心技术与应用，规划并总结了AI算法工程师的完整成长路线。出版了《深度学习之图像识别：核心技术与案例实战》与《深度学习之模型设计：核心算法与案例实践》等著作。

图书试读：

人脸图像第4章（部分）试读.pdf (4.9 MB, 下载次数: 43)

人脸图像前言目录.pdf (557.85 KB, 下载次数: 49)

作者: shang2010 时间: 2020-10-27 10:16
本帖最后由 shang2010 于 2020-10-30 21:30 编辑

大黄脸行不行

，据说有很多拿来做表情包，也很丰富的哦

作者: reyleon 时间: 2020-10-27 14:12
高端技术，望尘莫及

作者: oyzx_sp 时间: 2020-10-27 14:44
回复 3# reyleon

加紧学习，迎头赶上。

作者: renxiao2003 时间: 2020-10-27 18:29
这次还是美女算法工程师不。

作者: 飘絮絮絮丶 时间: 2020-10-28 10:38

renxiao2003 发表于 2020-10-27 18:29
这次还是美女算法工程师不。

就对美女感兴趣啊，不是应该对技术感兴趣么

作者: renxiao2003 时间: 2020-10-28 11:57
（1）“天天P图”“抖音”“快手”等热门App上的人脸特效都用了哪些人像处理技术？
利用了大量计算机视觉技术，像是人脸定点识别、图像分割、边缘融合等等。在美颜、抠图、结构光等等有趣玩法的背后，其实是算法和大数据的加持。
（2）人脸检测和识别的核心算法是什么？目前还有哪些待攻克的难题？
人脸识别技术的核心算法包括：人脸识别核心算法包括检测定位、建模、纹理变换、表情变换、模型统计训练、识别匹配等关键步骤，其中最关键的技术包括两部分：人脸检测（Face Detect）和人脸识别（Face Identification）。
检测技术核心称为：迭代动态局部特征分析(SDLFA)，它是以国际通用的局域特征分析（LFA）和动态局域特征分析（DLFA）为基础，并且针对现实业务场景进行了全面的算法增强及结果优化，识别技术核心称为：实时面部特征匹配（RFFM），其识别特征数据紧凑，特征算法准确高效。
除了优化SDLFA方式和RFFM核心算法外, 针对现实环境下的识别效果，人脸识别技术的核心算法还针对海量的上下文信息，进行高精度的线性及非线性判别分析，在高可信度的效能目标下，对检测技术和识别算法，进行了全面的（效能&速度）指标提升：
l SDLFA（Sparsification Dynamic Local Feature Analysis）：动态局域特征分析；针对静态图像及动态视频图像序列，完成脸部检测、跟踪及检出；
l RFFM-(Real Face Feature Matching)：实时面部特征匹配，提取并数字化面部特征数据，进行人脸的分析和识别对比。
（3）如何识别和改变人脸表情、颜值、性别及展现的年龄？都有什么应用场景？
人脸是一种非常重要的生物特征，具有结构复杂、细节变化多等特点，同时也蕴含了大量的信息，比如性别、种族、年龄、表情等。一个正常的成年人可以轻易的理解人脸的信息，但将同样的能力赋予给计算机，并让其代替人类进行类脑思考成为研究学者亟待攻克的科学课题！
人类可以通过使用相机等图像采集装置和计算机组建一套与人体类似的系统，相机等图像采集装置是“眼睛”，计算机是“大脑”。但是问题来了，这些单纯的硬件设施并不足以让机器完成理解人脸信息的任务，这其中还需要载有思考能力，也就是我们平时所说的算法。
目前主流的人脸属性识别算法主要包括：性别识别、种族识别、年龄估计、表情识别等。
详细可参照：https://www.sohu.com/a/124787315_607256
（4）人脸美颜技术的最新应用是什么？如何从传统的磨皮美白过度到智能化妆？
现在有各种的美颜软件，有特效、美颜等多种功能满足用户的拍摄需求，以及可以在多种场景下完成拍摄。而且，现在手机中拍照软件都会使用到人脸识别解决方案，通过智能科技带给用户更多的玩法，满足用户需求。人脸识别公司在智能美颜方面都应用了哪些人脸识别技术？
实时特效处理：为用户提供多种特效，通过识别用户的面部信息，实时渲染预览给用户带来更加流畅的使用体验。
美颜美妆：通过人脸识别技术给用户提供合适的美颜美妆效果，精准识别面部特征，为用户调整脸型，科学计算人脸优化比例，使美颜美妆更贴合用户的脸部，更加的自然。
动态贴纸：通过识别精准定位五官，稳定面部跟踪，为用户提供动效素材，使用户在拍摄时有更多的玩法，带给用户更多的乐趣。
特效滤镜：应用人脸识别技术可实时画面预调色，并结合图像融合、图像增强技术，使特效滤镜效果更加自然贴合，增加用户的互动。
在智能美颜方面使用人脸识别技术，可以给用户带来了更多玩法，增加用户的社交娱乐的互动，满足人们更多的需求。
（5）三维人脸图像技术与二维人脸图像技术相比有什么不同？如何进行学习？
《二维及三维人脸识别技术》介绍了人脸识别的概念、应用领域以及国内外公用的二维人脸图像数据库，并论述了二维人脸识别的预处理方法，着重对二维人脸识别中常用到的方法作了详细论述，如基于特征脸的方法，基于弹性匹配的方法，基于隐马尔可夫模型的方法等，在三维人脸识别中，分别介绍了三维人脸识别的概念、难点以及三维人脸库，同时，也讨论了三维人脸图像的预处理，并对三维人脸重建中常用到的方法作了论述，如基于三维可变形人头模型的方法，基于三维通用人头模型的人脸重建等，并介绍了常用的三维人脸识别方法。
可根据图书《二维及三维人脸识别技术》来学习。

作者: oyzx_sp 时间: 2020-10-28 18:52
回复 5# renxiao2003

这次是甩锅，是否有兴趣？

作者: renxiao2003 时间: 2020-10-28 21:16
回复 8# oyzx_sp

没有玻璃之好。呵呵。

作者: ylky_2000 时间: 2020-10-29 13:28
可惜不懂。。。
请教个业务问题，如何避免法律风险？技术和业务逻辑上如果做到？

作者: lbseraph 时间: 2020-11-03 16:48
回复 10# ylky_2000

现在国内还没这方面保护吧？其实也很难，前一段时间清华法学教授反对小区安装人脸识别门禁可见一斑，不过就算小区不装，像火车站、机场这种公共场所地方其实都有些地方实施了的，照样会采集到数据。咳～什么时候先把房产机构兜售业主信息给中介这种行为禁止并处罚了再来考虑这种问题吧

作者: ylky_2000 时间: 2020-11-04 07:51
回复 11# lbseraph

是的，听说国外（我没去验证过）对刷脸这个很抵触。。。

作者: nail78 时间: 2020-11-05 15:19
（1）“天天P图”“抖音”“快手”等热门App上的人脸特效都用了哪些人像处理技术？
  有基于传统方法的调色、滤波、滤波等图像算法，也有基于深度学习CNN的图像算法。
（2）人脸检测和识别的核心算法是什么？目前还有哪些待攻克的难题？
人脸识别核心算法包括检测定位、建模、纹理变换、表情变换、模型统计训练、识别匹配等关键步骤，其中最关键的技术包括两部分：人脸检测（Face Detect）和人脸识别（Face Identification）。
目前互联网金融行业在使用人脸识别技术进行开户等操作时，用于确定客户信息的可信照片往往是居民二代**。而二代**的照片不仅分辨率低而且信息量少，这会降低人脸注册、识别的准确率。
随着时间的推移，用户的年龄增长，会发生胖瘦、常规的化妆、自然老化等变化。通常情况下，这些变化是在计算机的识别范围内的，但是如果出现整容、过浓的妆容、或者是佩戴眼镜与一些装饰性的饰物可能就会影响人脸识别的识别率。同时双胞胎、多胞胎的人脸信息过于相像,双胞胎、多胞胎人脸信息的分辨在人脸识别技术中也是一个待攻克的难题。
（3）如何识别和改变人脸表情、颜值、性别及展现的年龄？都有什么应用场景？
可以基于传统方法特征提取加分类器的方法，也可以基于深度学习CNN的方法。应用场景有客户属性识别、广告精准投放、定向营销等。
（4）人脸美颜技术的最新应用是什么？如何从传统的磨皮美白过度到智能化妆？
   虚拟试妆、智能化妆之类的。
（5）三维人脸图像技术与二维人脸图像技术相比有什么不同？如何进行学习？
   在原有二维数据的基础上增加了样本的深度信息，增强了识别系统对光照、表情等影响因素的鲁棒性。

作者: forgaoqiang 时间: 2020-11-05 18:54
（1）“天天P图”“抖音”“快手”等热门App上的人脸特效都用了哪些人像处理技术？
不得不佩服这些APP，人脸磨皮和柔滑做的是真的好，随便一个人只要经过这些软件的处理就会变成美女靓仔，以前学习Photoshop图像处理，一直在手动P图，这些软件明显是AI加持，自动优化。
现在人脸特效采用了皮肤平滑，减少光泽，去除瑕疵，雕刻脸部以及美白牙齿和牙齿等特性，这些技术的关键就是人脸识别和定位，然后针对的处理。

（2）人脸检测和识别的核心算法是什么？目前还有哪些待攻克的难题？
使用过dLib的开源人脸识别和对比，没有深入研究原理，知道主要是定位、变换、关键点采集，然后通过特征确认是否人脸，以及上百个人脸特征点。
目前来看训练数据越多效果越好，但是同时有玩坏的情况，对一些不是人脸的物体误识别成人脸的情况，目前主要是活体检测问题，避免通过3D 模型进行欺诈通过业务验证。

（3）如何识别和改变人脸表情、颜值、性别及展现的年龄？都有什么应用场景？
表情可以分析情绪，可以应用到公共安全事业上面，之前有应用到公交司机的场景。对于个人来说，可以进行大数据画像，了解用户特性，比如性别、年龄。目前家里用的鹿客的智能猫眼就能进行识别性别、年龄（虽然大部分时候很不准，可能和安装的楼道环境有关）
公众安全方面也可以大规模应用，必要的人物身份识别可以快速定位事件本身。

（4）人脸美颜技术的最新应用是什么？如何从传统的磨皮美白过度到智能化妆？
传统磨皮完全是“人工”智能，现在还记得当年学习PS的一大功能就是手动磨皮，美化照片，调整对比度等。现在人工智能能够从照片中自动找到人脸并进行人脸各个部位的调整，智能默认参数调整的同时还允许用户根据需要调整参数给出自己理想的磨皮结果。作为终端用户，只要学习大厂的SDK如何使用，直接集成到自己的应用中即可，还有不少厂家提供web的API，可以在服务器侧进行调用，现在对于视频中的任务处理，甚至可以考虑最新的 serverless 函数计算方案，直接将运算密集型的添加到函数中，然后远程调用执行美颜。

（5）三维人脸图像技术与二维人脸图像技术相比有什么不同？如何进行学习？
三维人脸通常由不同角度的多个深度图像组成，完全显示面部的表面形状，并且在具有一定深度信息的密集点云中的空间中呈现面部，基于点云的方式进行识别，三维模型从空间上对人脸进行识别，更不容易被伪造。目前来看需要特殊的硬件来实现，很像Lidar这些激光雷达方案，目前iphone12已经携带激光雷达，可能是下一个应用方向。

作者: lbseraph 时间: 2020-11-08 21:54
本帖最后由 lbseraph 于 2020-11-09 10:42 编辑

1）“天天P图”“抖音”“快手”等热门App上的人脸特效都用了哪些人像处理技术？
人脸检测（提取人脸特征点），人脸美颜（美白、瘦脸。。），目标分割（比如对五官分割），人脸镜像的话使用了虚拟摄像机，OpenGL实时渲染。。。感觉以后不少修图师要失业了，手工PS时代将要过去，但使用那些美图特效app上传个人照片也担心隐私没了，以后AI说不定比你还懂你的脸。

2）人脸检测和识别的核心算法是什么？目前还有哪些待攻克的难题？
人脸检测的基础是人脸关键点检测，目前68点标注是最通用的一种方案，OpenCV的Dlib算法有采用。国内也有企业采用更多标注的方案（比如百度用过72和150个点的方案，美图甚至使用超过1000个以上的方案--注: 来自有三数据），那些可以用于三维人脸图像重建。近年来，基于CNN模型点深度学习方法也应用到人脸关键点检测里面，虽然深度学习技术让人脸关键点算法性能不断提升，但还有些地方比较难处理，比如遮挡，戴口罩其实比较容易处理，但如果戴着大墨镜挡住眼睛就无法很好提取到眼部特征点了（PS: 有些电影里面看的角色戴着鸭舌帽低着头不让摄像头拍到脸也是个躲避方法）。

3）如何识别和改变人脸表情、颜值、性别及展现的年龄？都有什么应用场景？
性别、年龄、表情等这些生物特性可作为身份验证的依据。表情识别有分整体识别和局部识别、几何特征法、容貌特征法等，算法中采用融合LBP和局部稀疏表示的算法的比较著名；性别识别方法有基于特征脸（EigenFace）的、基于Fisher准则的，基于Adab oost+SVM等分类方法；年龄识别有利用深度学习技术通过统计分类的方法，比如未成年人和成年人，有用VGG网络进行特征学习；应用方面比较多的，人机交互、安全、机器人制造、医疗、汽车等领域都可以使用。比如可用在罪犯识别上，比如使用十年前的罪犯照片来甄别现在的逃犯（你也知道现在公共场所到处有摄像头，后台都可以拿这些数据去分析甄别的）。

4）人脸美颜技术的最新应用是什么？如何从传统的磨皮美白过度到智能化妆？
大家常用的美颜估计也是自拍时候使用，之前看新闻说小米针对印度市场的手机专门有美白效果（看来阿三也不喜欢自己太黑了）。本人还比较少使用短视频和直播，但知道这类app都可以在直播中加入“美颜”技术。也有在研究美妆算法，确实可以使用在化妆方面，比如真正化妆之前让AI针对客户给出不同效果的妆容，让客户选择，然后再真正化妆。其实技术落地难点是应用场景，有能广泛使用的场景的话，自然就会有更多的资金投入研究。

5）三维人脸图像技术与二维人脸图像技术相比有什么不同？如何进行学习？
二维图像是扁平化的，没有立体感；三维图像还有空间维度，不同景深，要复杂的多。二维人脸图像技术没有空间信息，目前有通过3D摄像头立体成像来采集空间点位的三维坐标信息。目前用于训练深度学习的图像通常是二维的，现在不少三维人脸图像技术研究都是基于二维图像来建模。对于个人自我学习来说，深度学习训练过程中比较麻烦的是收集足够多的训练图像，不过可以找些已有的数据集，比如FRGC(https://cvrl.nd.edu/projects/data/)。

作者: aloki 时间: 2020-11-15 15:03
（1）“天天P图”“抖音”“快手”等热门App上的人脸特效都用了哪些人像处理技术？
人脸融合、人脸美颜、人脸试妆、人像分割、人脸变化

（2）人脸检测和识别的核心算法是什么？目前还有哪些待攻克的难题？
人脸检测算法模型的流派包括三类：viola-jones框架（性能一般速度尚可，适合移动端、嵌入式上使用），dpm（速度较慢），cnn（性能不错）。
受疫情影响，民众们无不戴上了口罩，这同时也给人脸识别检测造成了不小的困扰。由于口罩遮挡，人像信息减少，学习到的特征的判别性随之较少。具体的，二维纹理信息会由于遮挡而丢失、三维形状信息会带有噪声；口罩类型比较多且口罩遮挡程度不一，如何更多地利用非遮挡区域的信息也是一个影响因素；戴口罩人脸的人脸检测和人脸关键点检测的精度受到口罩遮挡的影响会降低。需要考虑的另一个主要问题是，尽管目前表情识别技术已经被广泛研究，但是我们所定义的表情只涵盖了特定种类的一小部分，主要是面部表情，而实际上人类还有很多其他的表情。

（3）如何识别和改变人脸表情、颜值、性别及展现的年龄？都有什么应用场景？
人脸表情识别系统主要由人脸图像的获取、人脸检测、特征提取、特征分类四部分组成。人脸表情识别系统由于开源表情数据库目前已经比较多，图像获取难度不大，人脸检测算法也比较成熟，已经发展成为一个独立的研究方向，因此人脸表情识别的研究主要体现在系统的后面两个步骤：特征提取和特征分类上。其应用场景包括：实名认证、刷脸支付、刷脸开门、人脸考勤、人脸检索等。

（4）人脸美颜技术的最新应用是什么？如何从传统的磨皮美白过度到智能化妆？
人脸融合 —— 毫秒级换脸，对两张人脸进行融合处理，生成的人脸同时具备两张人脸的外貌特征。
人像分割 —— 一键抠图，识别图像中的人体轮廓，与背景进行分离，适应多个人体、复杂背景、各类人体姿态。
人脸试妆 —— 其实和美颜很像，只不过人脸试妆主要是集中在五官的一个具体的部位，比如说唇色、眼妆、腮红和底妆等。
智能化妆也不是什么高级的技术，只不过主要是集中在五官的一个具体的部位，比如说唇色、眼妆、腮红和底妆等。

（5）三维人脸图像技术与二维人脸图像技术相比有什么不同？如何进行学习？
一般所讲的 RGB、灰度、红外人脸图像即为二维人脸图像技术，它们多为某一视角下表征颜色或纹理的图像，没有空间信息。三维人脸图像技术般由多张不同角度的深度图像合成，完整展示人脸的曲面形状，并且人脸以密集点云的方式呈现在空间中，具有一定的深度信息。
至于怎么学习，首先了解相关的理论，然后就是实践再实践，在实习中实践，在实践中学习。

作者: lbseraph 时间: 2020-12-01 18:07
这帖结束了吧？管理员去哪儿了？

作者: 飘絮絮絮丶 时间: 2020-12-02 09:07
回复 17# lbseraph

嗯嗯会想选出来获奖用户的最近一直在忙大会

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)