【好书推荐+有奖讨论】围观美女图像工程师如何玩转抖音、天天P图的美颜算法！

fenyun689

（1）各类美颜算法的基础技术是什么，是图像、是视频、还是AI？
    基础技术是图像。视频是图像的连续播放，AI是对多种图像进行学习。



（2）如何通过算法实现抖音视频中抖动、闪白、霓虹、时光倒流、视频反复、慢动作？
  不清楚，我估计是 对视频中的每一帧进行识别， 按 抖动、闪白、霓虹、时光倒流、视频反复、慢动作 的算法进行处理。



（3）国际上通用的视频美颜或美图类先进技术有哪些？国内和国际上的通用技术有区别吗？
美颜的技术不知道，处理图像的有OpenGL。工具有美图秀秀。现在手机上都自带的有美颜功能。拍照方便多了。

renxiao2003

（一）各类美颜算法的基础技术是什么，是图像、是视频、还是AI？
“美颜”是一个深度学习+图像处理+图形学的技术。“美颜”牵涉到这些技术包括：人脸检测、人脸关键点定位、瘦脸、磨皮、美白等。其中，人脸检测、人脸关键点定位是用深度学习技术来做的；而瘦脸、磨皮和美白就牵涉到计算机图形学里的技术，使用OpenGL，Metal来对检测到的人脸进行渲染。所以从技术大伽的解释中我们不难看出，美颜算法的基础应该 是图像图形学还有深度学习（AI）等。主要涉及人脸检测、人脸关键点、瘦脸、磨皮与美白等关键点。
（2）如何通过算法实现抖音视频中抖动、闪白、霓虹、时光倒流、视频反复、慢动作？
颜色偏移+微弱的放大效果，代码如下：

1. precision highp float;
   
2. 
   
3. uniform sampler2D Texture;
   
4. varying vec2 TextureCoordsVarying;
   
5. 
   
6. //传入的纹理时间
   
7. uniform float Time;
   
8. 
   
9. void main (void) {
   
10.    
    
11.     //周期
    
12.     float duration = 0.7;
    
13.     //放大的最大比例
    
14.     float maxScale = 1.1;
    
15.     //颜色偏移值
    
16.     float offset = 0.02;
    
17.    
    
18.     //当前时间在整个周期中的进度,在0~1
    
19.     float progress = mod(Time, duration) / duration; // 0~1
    
20.     //具体的偏移量
    
21.     vec2 offsetCoords = vec2(offset, offset) * progress;
    
22.     //图层放大缩小的比例
    
23.     float scale = 1.0 + (maxScale - 1.0) * progress;
    
24.    
    
25.    //获取缩放之后实际纹理坐标
    
26.     vec2 ScaleTextureCoords = vec2(0.5, 0.5) + (TextureCoordsVarying - vec2(0.5, 0.5)) / scale;
    
27.    
    
28.     //设置缩放之后的纹理坐标和经过具体的颜色偏移坐标
    
29.    //三组分别代表RGB不同方向的纹理像素值
    
30.     vec4 maskR = texture2D(Texture, ScaleTextureCoords + offsetCoords);
    
31.     vec4 maskB = texture2D(Texture, ScaleTextureCoords - offsetCoords);
    
32.     vec4 mask = texture2D(Texture, ScaleTextureCoords);
    
33.    
    
34.     //根据不同的纹理坐标值得到经过颜色偏移之后的颜色
    
35.     gl_FragColor = vec4(maskR.r, mask.g, maskB.b, mask.a);
    
36. }

复制代码

添加白色图层，白色图层的透明度随着时间变化；添加白色图层还是比较简单的，看代码实现

1. precision highp float;
   
2. uniform sampler2D Texture;
   
3. varying vec2 TextureCoordsVarying;
   
4. uniform float Time;
   
5. const float PI = 3.1415926;
   
6. 
   
7. void main (void) {
   
8.    
   
9. 
   
10.     float duration = 0.6;
    
11.     float time = mod(Time, duration);
    
12.     //这部分其实是添加了一个白色的纹理像素值，透明度为1.0
    
13.     vec4 whiteMask = vec4(1.0, 1.0, 1.0, 1.0);
    
14.     float amplitude = abs(sin(time * (PI / duration)));
    
15.     vec4 mask = texture2D(Texture, TextureCoordsVarying);
    
16. 
    
17.     //纹理像素的混合公式进行混合
    
18.     gl_FragColor = mask * (1.0 - amplitude) + whiteMask * amplitude;
    
19. }

复制代码

（3）国际上通用的视频美颜或美图类先进技术有哪些？国内和国际上的通用技术有区别吗？
1）跨平台。我们的业务场景涵盖了移动端和PC端。为了提高开发效率，我们要把平台无关的逻辑抽象成公共组件，例如渲染管线、后处理算法等，实现一份代码，多端共用。

2）可扩展。跨平台解决了横向的平台差异问题，而可扩展就是解决业务迭代的纵向问题。我们将渲染逻辑分解成一个一个的小“零件”，业务方可以像搭积木一样自由组合这些“零件”，而算法同学也可以很容易的造“零件”。这样业务迭代就简化成了简单的加减法，效率大大提升。

3）高性能。音视频渲染，尤其是视频渲染，是很耗费计算资源的。在端侧有限的计算资源前提下，还要能实现快速、高质量的渲染效果，就需要我们厘清渲染链路中的每个环节，剔除冗余逻辑，实现高效渲染。

renxiao2003

Mar——参加了。

renxiao2003

马上9月28了。

飘絮絮絮丶

renxiao2003 发表于 2020-09-25 12:32
马上9月28了。

我 我 我我，忘记 编辑获奖用户了 谢谢提醒 哈哈哈~~~