雷锋网：本文来自兔兔CTO在建筑师沙龙的演讲。本文主要讲的是美颜技术在直播中的运用。雷锋网已获得授权。

2016年是视频直播元年，无论从资本估值的上涨，到平台主播的各种天价薪酬，再到像“局”这样的主流人争相直播，直播社会的热度可见一斑各大直播平台在经历了从无到有发展直播概念的阶段后，如何区分、如何解决野蛮成长期出现的各种涉黄问题，已成为几乎所有平台的“成长之痛” 除了政策和内容问题，在技术层面，基于图像技术的创新成为解决这些问题最可行的途径。作为土素材的第一次分享，我们首先选择了直播这个热点话题，介绍了图像技术在直播中的应用。

本次分享系列整理了 CTO在建筑师沙龙的演讲内容。

一、技术框架

每个人都有对美的热爱。早期的画美教育了市场，而在直播时代，美颜也成为了直播平台的标配。目前，用于直播美容的主流技术是 ES。它的优点是直接在GPU上运行，所以性能高、功耗低，在直播中使用更划算。二是跨平台主播用的美颜软件下载，iOS和都支持，美颜效果可以直接在这两个平台上实现跨平台效果。 ES 的另一个优点是有大量现成的开源库。比如谷歌的，还有一些基于安卓的实用库都非常常用。网上也有一些热心的开发者直接开源了自己的美颜算法，包括一整套解决方案，从采集到处理再到美颜处理，再到最终输出一个源代码，都有相关的解决方案。

二、美的原则——必须混合

市场上大多数美容产品的一般原理都是相似的。摄像头抓拍图片，经过一定的处理，最终输出美化图片。

具体来说，先对原图进行微晶磨皮，即去除粉刺和斑点。然后将纹理图像与原始图像混合。这一步融合是必不可少的，因为如果只使用重铺图像，很容易丢失细节。并且通过混合两个图像，您还可以通过调整两个图像的混合权重来控制微晶磨皮的程度，以实现不同程度的微晶磨皮。当然，最后一步也很重要，就是美化皮肤，比如让肤色更白、更红、更嫩，或者可以达到一些特殊的需求。基本上，大部分的美，就是这个过程。

三、微晶磨皮算法 - 祛痘就是降噪

本质上，图是二维数据。如果两个相邻区域的灰度值相差较大，则说明存在噪声。比如脸上长了痘痘，痘痘自然会产生灰度值的变化，这是抽象意义上的噪点。因此，美肤算法的核心是去噪。去噪的方法很多，网上也有很多种算法，包括现成的论文。但是无论用什么算法，美颜的去噪算法都必须保持一个特性，即必须保持边界，同时又要达到平滑，也就是滤波。

比较常见的过滤算法是双边过滤，优点是效率很高，所以非常适合移动平台。还有其他一些算法稍微复杂一些，可以达到这种效果，但在移动应用程序中效率不高。 GPU虽然进行并行运算，非常适合这样的运算，但是GPU的能力是有一定范围的，超过这个范围也会消耗功率。包括双边滤波，滤波算法也有多种实现方式。考虑在移动平台上运行，可以进行特殊优化。比如在精度计算中，适当降低精度，达到效果和效率的平衡。

四、肤色调整 - 检测是问题

换肤后的最后一道工序是调整肤色。调整肤色的方法本身就很成熟，所以比较难的部分就是肤色检测。为什么要进行肤色检测？一些早期的直播美妆没有这个功能，所以在美化肤色的基础上，简单粗暴地按照这个颜色处理整个画面，造成整体偏色，效果最好不要做。因此，在对图像进行处理之前梦幻的魔术棒笔刷，必须先进行肤色检测，在处理前在图像的所有像素点中找到与肤色范围对应的像素。

直播中肤色检测的特点是色彩空间的转换。因为与图像处理相关的色彩空间主要有3种：RGB、YUV、HSV，而这三种色彩空间是用在直播中的。

RGB 是最常见的色彩空间。我们日常使用的显示设备都是基于RGB空间的，这里就不多解释了。

YUV 是一种比较传统的色彩空间。它首先用于电视信号的传输。目前多用于直播的数据采样和传输过程中。这是因为人眼对亮度（Y）比对色度（U，V）更敏感，所以YUV比RGB更容易压缩，更容易节省传输带宽。

基于 HSV 的色彩空间用于肤色检测。因为如果用RGB进行肤色检测，需要检测R、G、B三个值是否同时满足肤色的颜色范围，YUV也是一样。而HSV的三个值：Hue（H），（S），（V），只有H与肤色有关，所以只需要考虑H（H值在25-50之间可以判断为肤色），所需的计算量自然比RGB要少很多。

因此，在直播的不同阶段，这三个色彩空间应该分开使用，并且三个色彩空间之间要不断相互转换。

五、细节——超越算法

虽然美颜算法很重要，但美颜是一件非常主观的事情。一个非常漂亮和高效的算法并不能保证最好的美容效果。因此，在用标准算法处理后，设计者需要根据自己的经验进行调整。比如很多平台都有类似的算法，但是为什么最终的美化效果还是让人感觉不一样呢？其实就是说里面有很多细节，还需要时间去优化，尤其是用户的需求是什么，怎么做的更漂亮。

另一个例子。很多平台在不同光照条件下，比如白天、夜晚、室内、室外、自然光、人造光，直​​播的美颜效果差别很大。造成这种情况的原因可能是算法中没有考虑光照因素，结果是一个小因素影响了效果。

因此，这需要大量的测试，并结合人工优化的技术手段来保证最佳的美颜效果。再说一遍：细节是魔鬼。

六、表现——对分数不满意？

在性能方面，iOS 平台目前一般没有或很少有问题。比如它是一个第三方库，在iOS平台上是一个很有历史的库。实现了很多效果，比如刚才提到的一些算法，里面可以看到简单版的实现，包括脚本怎么写，怎么运行，双边过滤怎么做，有简单的实现，还有可以有非常好的。影响。包括在做直播的时候，可以作为一个很好的客户端扩展。唯一需要做的就是添加一个推流；因为它包含了从客户端采集处理到每一帧的数据，无论是YUV，还是RGB，都可以输出。因此，iOS平台上的问题相对较少。

平台是一个更大的问题。由于本身的特点，厂家多，设备多，系统版本多，相互兼容比较困难。

首先是设备问题。例如，如果一个美颜算法在不同的机器上运行主播用的美颜软件下载，即使使用相同的 GPU，性能也可能会有很大差异。所以，为了保证一个脚本能适应不同的机器，有一个办法：根据GPU的性能做一个评分算法，如果评分比较高，就用最复杂的算法；如果性能等级比较低，就把美化效果降低，保证在大部分环境下都能使用。

第二个是版本问题。比如只有4.0以上的版本可以通过摄像头直接从摄像头采集中获取纹理。这称为 OES。摄像头直接将捕获的图像传输到 GPU，所有这些都由 GPU 加速。 4.3 以后我能做什么？从摄像头采集到处理再到编码，全部使用GPUCAD实用填充图案129种，最好最快。当然，这对系统的兼容性要求是最高的。因为有些厂商在实现的时候不兼容这些东西，GPU加速很难做到。

同时输出 YUV。很多直播平台都支持YUV输出。这些 YUV 数据涉及到 CPU 和 GPU 的转换过程。因为处理可能在GPU中完成，GPU不能直接输出，需要从GPU转换到CPU。目前，没有更好的解决方案。目前的一些底层GPU还没有开放，有时可以通过 实现，但是并没有开放这个。如果有这样的事情，唯一能做的就是把源码拿出来，包括把源码链接成关键代码，这样才能达到更好的效果。从 CPU 到 GPU 的转换可以在几毫秒内完成。如果直接从 GPU 转换到 CPU，一个好的设备可能需要大约 20 毫秒。你预测的数据是24帧，可能会有丢帧的情况。健康）状况。可能对主流影响不大，大部分情况下都可以接受。当然，这最终取决于用户唯一的应用场景。

最后说一个经常被问到的问题：iOS平台和平台都有自己的人脸检测API，为什么不用呢？

首先，系统频率低，速度慢。苹果可能有这样的考虑，不影响摄像头API的正常使用，所以频率很低。检测可能需要 3 秒；而不是需要3秒的检测，它只会在3秒内给你一条数据，告诉你这张照片中是否有人脸。作为一款实用产品，假设每秒24帧，至少需要十几次测试才能满足实时性要求，否则就跟不上帧率要求。在中，问题更为严重，因为它取决于设备，有的设备甚至没有，厂商直接去掉了这个设置。另一个特征点问题。 iOS上有这些特征点，比如眼睛、嘴巴、鼻子等，上没有这些特征点。

七、美容2.0——从化妆到整容

以上内容属于美容概念1.0，最新美容技术发展到2.0概念。打个简单的比喻，如果.0只是化妆，.0基本可以达到整容的效果——放大眼睛，把圆脸变成瓜子脸。这种效果的基础是人脸识别。这很容易理解。只有判断有没有人脸，知道五官在哪里照片美化软件(ArcSoft Perfect365)，才能让他们更美。

关于人脸识别，又是一个大问题。限于篇幅，我们将在下一期详细展开这个问题。

雷锋网原创文章，未经授权禁止转载。详情见转载说明。