用这个模板记录爱豆造型：天啦噜 在家和爱豆玩 剪刀石头布
用这个模板记录爱豆造型：天啦噜 在家和爱豆玩 剪刀石头布从18年3月份以来，我们以活动营销的方式，在手机淘宝app内拍立淘、扫一扫、搜索等产品落地了十多场视觉互动IP营销活动。七. 总结用户所使用的拍照设备各异，拍照环境各异，会产生不同的像素与光照环境的图片，这些图片中存在大量白平衡失调、皮肤高光等的错误。如何对这些质量不足的图片进行处理，使得融合后仍然能够产生高质量的融合图片，是人脸融合中必须解决的问题。 我们的方法获得了完善的用户脸部关键点，在尽可能保持用户五官脸部形状的同时，利用关键点插值对其进行变换，保证了五官的和谐，同时，针对用户不同的脸型，如圆脸、尖脸，对模板图进行了变换，使得融合后得到的结果与用户更加相似。 为了解决用户照片质量各异的问题，我们利用皮肤在颜色空间上的特征值，采用预定义的LUT(LookUpTable)，将用户的肤色与模特肤色进行了统一，并有效处理了高光的问题，使得低质量的图片也能够得到良好的融合效果，并且观感上更加
我们的工作发表于ECCV 2018上，具体见论文:Stroke Controllable Fast Style Transfer with Adaptive Receptive Fields.
六.人脸融合
人脸融合是将用户自拍图片的人脸与模板图的人脸进行融合，融合以后，模板图的人脸呈现出用户人脸的五官特征与脸型轮廓，并保持原模板图的发饰、穿着，以此达到以假乱真的效果，实现“换脸”。 简单实现人脸融合并不困难，但是，如果想使得绝大多数的用户图片都能呈现满意的效果并不容易，有许多细节问题，其中最主要的两个问题是人脸变形与图像融合：
用户在自拍的时候，拍摄的角度多种多样，无法做到与模板图的人脸保持相同的角度。如果只做简单的变形就将用户的人脸贴到模板上，会造成十分诡异的效果。
用户所使用的拍照设备各异，拍照环境各异，会产生不同的像素与光照环境的图片，这些图片中存在大量白平衡失调、皮肤高光等的错误。
如何对这些质量不足的图片进行处理，使得融合后仍然能够产生高质量的融合图片，是人脸融合中必须解决的问题。 我们的方法获得了完善的用户脸部关键点，在尽可能保持用户五官脸部形状的同时，利用关键点插值对其进行变换，保证了五官的和谐，同时，针对用户不同的脸型，如圆脸、尖脸，对模板图进行了变换，使得融合后得到的结果与用户更加相似。 为了解决用户照片质量各异的问题，我们利用皮肤在颜色空间上的特征值，采用预定义的LUT(LookUpTable)，将用户的肤色与模特肤色进行了统一，并有效处理了高光的问题，使得低质量的图片也能够得到良好的融合效果，并且观感上更加受用户喜爱。
七. 总结
从18年3月份以来，我们以活动营销的方式，在手机淘宝app内拍立淘、扫一扫、搜索等产品落地了十多场视觉互动IP营销活动。
譬如《西虹市首富》《碟中谍6》的影视IP宣发、双11《明星猜拳大战》、天猫国际黑5“刷脸”活动、双12"AI看相"、元旦"淘公仔"新年签活动。新鲜的AI互动技术结合有趣的创意，受到用户好评，引发在微博等平台上大量自发参与、传播讨论。
同时我们也与线下互动大屏场景鹿合作，其线下拍照互动产品“黄小鹿”部署在全国各大商场。我们为其提供了基础的人像语义切割等能力，从18年8月份开始陆续上线了健乐多、弹个车、婚博会糖类、贝壳租房等品牌宣传活动以及双十一天猫线下快闪店、万圣节等活动。 后面我们将通用互动提炼，进行平台化沉淀。让更多的品牌，尤其是中小品牌能够通过平台快速配置产出一套AI互动营销活动，再借助其站外推广资源引导用户回流，提升活动参与热度，赢得平台内更多推广资源。既能给品牌客户提供强有力的营销抓手，实现“财丁两旺“，又能为平台带来用户增量，从而实现双赢。
最后，感谢阿里巴巴-浙江大学前沿技术联合研究中心（AZFT）对本项目的支持。
参考文献：
[1] Howard A G Zhu M Chen B et al. Mobilenets: Efficient convolutional neural networks for mobile vision applications[J]. arXiv preprint arXiv:1704.04861 2017.
[2] Chen L C Papandreou G Kokkinos I et al. Deeplab: Semantic image segmentation with deep convolutional nets atrous convolution and fully connected crfs[J]. IEEE transactions on pattern analysis and machine intelligence 2018 40(4): 834-848.
[3] Chang J R Chen Y S. Pyramid Stereo Matching Network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 5410-5418.
[4] Li H Xiong P An J et al. Pyramid Attention Network for Semantic Segmentation[J]. arXiv preprint arXiv:1805.10180 2018.
[5] Gong K Liang X Li Y et al. Instance-level Human Parsing via Part Grouping Network[J]. arXiv preprint arXiv:1808.00157 2018.
[6] Liu W Anguelov D Erhan D et al. Ssd: Single shot multibox detector[C]//European conference on computer vision. Springer Cham 2016: 21-37.
[7] Sandler M.; Howard A.; Zhu M.; Zhmoginov A.; and Chen L.-C. 2018. Mobilenetv2: Inverted residuals and linear bottlenecks. CVPR.
[8] Tan M Chen B Pang R et al. Mnasnet: Platform-aware neural architecture search for mobile[J]. arXiv preprint arXiv:1807.11626 2018.
[9] Lin T Y Goyal P Girshick R et al. Focal loss for dense object detection[J]. IEEE transactions on pattern analysis and machine intelligence 2018.
[10] Lin T Y Dollár P Girshick R B et al. Feature Pyramid Networks for Object Detection[C]//CVPR. 2017 1(2): 4.
[11] Ren S He K Girshick R et al. Faster r-cnn: Towards real-time object detection with region proposal networks[C]//Advances in neural information processing systems. 2015: 91-99.
[12] Z. Cao T. Simon S.-E. Wei and Y. Sheikh. Realtime Multiperson 2d pose estimation using part affinity fields. In CVPR 2017. 5
[13] C. Payer T. Neff H. Bischof M. Urschler and D. Stern.Simultaneous multi-person detection and single-person poseestimation with a single heatmap regression network. InICCV PoseTrack Workshop 2017.
[14] G. Papandreou T. Zhu N. Kanazawa A. Toshev J. Tompson C. Bregler and K. Murphy. Towards accuratemulti-person pose estimation in the wild. In CVPR 2017.
[15] Chen D. Liao J. Yuan L. Yu N. Hua G.: Coherent online video style transfer. Proceedings of the IEEE International Conference on Computer Vision (2017)
[16] Chen D. Yuan L. Liao J. Yu N. Hua G.: Stylebank: An explicit representa-tion for neural image style transfer. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (2017)
[17] Chen D. Yuan L. Liao J. Yu N. Hua G.: Stereoscopic neural style transfer. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (2018)
[18] Chen L.C. Papandreou G. Kokkinos I. Murphy K. Yuille A.L.: Deeplab: Se-mantic image segmentation with deep convolutional nets atrous convolution and fully connected crfs. IEEE Transactions on Pattern Analysis and Machine Intelli-gence (2017)
