从选手到制作人用了2年的时间，这对制作人CTO的搭档
从选手到制作人用了2年的时间，这对制作人CTO的搭档然而，事情的进展并没有他们想象的那么顺利，一方面，他们需要从头学习AI技术的基础内容，距离用技术解决问题差了太多的积累，另一方面，这项技术还停留在理论的阶段，实现出来的效果对游戏而言几乎没法应用。就像人脸识别的普及一样，他们希望把姿态识别跟3D游戏的制作结合起来，解决以往动捕的高成本问题。随后，梅嵩和陈敏离职创业，成立了小K动捕，开始研究和尝试视频动捕的技术。2017年，在蓝港互动担任SVP、曾制作《王者之剑》的梅嵩，与同在蓝港互动担任CTO的陈敏，都觉得做游戏遇到了瓶颈。用梅嵩的话说，做游戏需要更多的文化造诣，而他们刻在骨子里的，是对技术的追求。尽管早在2014年的时候他们就为蓝港引入了如今热门的PBR技术，并实现了DEMO，但几款产品的尝试不成之后，他们对制作游戏的热情渐渐消退了。于是在2017上半年，梅嵩觉得是时候去做一些游戏研发之外的事情了。很快，他和陈敏找到了当时热门的AI深度学
离开了游戏公司，却给游戏带来了新的技术。
文/梁子&依光流
假如有一项新技术，不仅能成倍数提高3D动作制作效率，还能节省几十万甚至几百万的成本，甚至可以让玩家给自家游戏一键制作出大量的UGC内容，你信吗？放在一年前葡萄君是完全不信的。
但有时候，技术突破给游戏带来的改变，能轻松超出我们的想象。
2017年，在蓝港互动担任SVP、曾制作《王者之剑》的梅嵩，与同在蓝港互动担任CTO的陈敏，都觉得做游戏遇到了瓶颈。用梅嵩的话说，做游戏需要更多的文化造诣，而他们刻在骨子里的，是对技术的追求。
尽管早在2014年的时候他们就为蓝港引入了如今热门的PBR技术，并实现了DEMO，但几款产品的尝试不成之后，他们对制作游戏的热情渐渐消退了。
于是在2017上半年，梅嵩觉得是时候去做一些游戏研发之外的事情了。很快，他和陈敏找到了当时热门的AI深度学习方向，并对其中AI的人体姿态识别产生了浓厚的兴趣。
就像人脸识别的普及一样，他们希望把姿态识别跟3D游戏的制作结合起来，解决以往动捕的高成本问题。随后，梅嵩和陈敏离职创业，成立了小K动捕，开始研究和尝试视频动捕的技术。
然而，事情的进展并没有他们想象的那么顺利，一方面，他们需要从头学习AI技术的基础内容，距离用技术解决问题差了太多的积累，另一方面，这项技术还停留在理论的阶段，实现出来的效果对游戏而言几乎没法应用。
经历两年多的研发，小K的视频动捕技术总算是从同行口中的“挺有趣，但用不了”，逐渐完善到了可以让游戏美术传一个视频，等一会儿就生成一套可以用的3D动作基础数据。比起美术自己手工做3D动作，用这些数据修整后使用的效率要快上4~5倍。
不仅如此，梅嵩和陈敏还开发了一些更贴合游戏诉求的功能、工具，直接在服务器上对动作数据进行二次应用。只要一名玩家自拍一个全身视频，上传到小K的服务器，就能生成一套游戏角色模仿玩家动作跳来跳去的视频。
在功能完善的过程中，很快有大厂盯上了小K的技术。从营销、内容制作、付费上都做了尝试。
2019年中，腾讯，完美与小K动捕合作了一期《完美世界》手游的UGC活动。鉴于这次活动传播效果超出预期，后续腾讯的自研产品《一起来捉妖》，也陆续应用了这套技术。甚至，《一起来捉妖》基于小K的技术，做出了新的付费点。
《一起来捉妖》灵动坊
从同行婉拒到大厂愿意连续合作，小K动捕这一路的坚持并不容易，如今梅嵩和陈敏的坚持终究是有了结果，而在技术这条路上，这一走就是3年。
用3年时间落地一项新技术有多难？
在游戏研发方向摸爬滚打很多年之后，梅嵩和陈敏觉得有点累了。
2014年在蓝港，他们针对一个IP项目做研发，陈敏提议引入PBR技术，实际运用之后做出来的DEMO的确让人眼前一亮，然而做着做着他们发现，味道不太对。“有些游戏人就像电影导演，他拍起电影来可以拍几十年、拍各种类型，可我们对文化的理解没那么透彻。”
在他们看来，自己没办法像米哈游那样，对二次元理解有这么透彻，也没法对武侠等国有文化拿出精确的把握，做游戏的过程中，他们总是容易代入一些技术向的东西。
2012年他们在制作《王者之剑》2D动作手游时就实现了实时PVP，引入了一些新技术点，但尝试来尝试去，终归还是卡在了游戏的文化造诣上。等到2017年回过头来看的时候，游戏技术方面能做的图形、引擎、服务器、客户端，几乎都被同行研究得差不多了。
不过这时他们发现，游戏之外的行业，技术正在发生巨大的变革。比如AR、VR的发展、人工智能的火热，作为重度的技术控，这些新鲜的东西非常吸引他们。
梅嵩和陈敏反复思考，觉得似乎到了该创业的时候，于是他们离开了蓝港，在2017年下半年成立了小K动捕，决定不再做游戏研发，而是做游戏相关的技术服务。
原因很简单，当时AI深度学习技术有了突破，给视频动捕提供了可实现的理论依据，他们知道做3D游戏的动作捕捉成本很高，少则20~30万起步，多则大几百万，并不是所有游戏公司都能负担得起的。于是他们想到了用AI技术来降低传统动捕的门槛，觉得这可能非常有价值。
不过摆在他们面前的困难并不少，最大的难点就是新技术的研发。当时，研究人体姿态识别的论文有一些，但都停留在理论研究层面，没有真正讨论实际应用的问题，更不用说用到游戏3D动作这么垂直的领域。
首先，AI很难通过普通视频识别出3D的位移数据，因为视频图像是2D的，识别的误差很大。其次，哪怕识别出了数据，用到3D模型上，人物会显得非常抖动，就像没站稳到地面上一样。最后3D人物的建模风格差异巨大，识别真人数据以后再套用，很容易出错。
几经周折之下，他们终于发现了问题的核心：(1)AI训练数据不够；(2)光靠AI识别捕捉的效果达不到实际使用要求。
深度学习的原理是让AI通过大量的数据积累经验，来应对各种各样的识别场景，做到最大程度的减少误差，通俗一点讲，就是要调教，调教需要大量的数据进行训练，后来他们建立了自己的数据中心，进行了大量的数据标注，一点点积累自己的数据集。
同时他们还运用了大量以往游戏动画研发的经验，来优化和调整各项实际应用的效果和功能，最后终于在2019年下半年，得到了一份阶段性的成熟版本。
技术是有了，但该怎么用呢？
对小K动捕来说，如果只做纯技术，那和注重理论的论文可能就没什么区别了，所以如何落地的重要程度，至少占到整个项目的一半。
小K的团队成员都不质疑视频动捕的潜力，就好比人脸识别，它显然能带来巨大的改变。但具体来看，又该怎么去应用这项技术，这个细节层面的问题成了大家争论最多的部分。这些路没人走过，想起来痛苦，实现起来也经常碰壁。
2018年底的时候，梅嵩拿着早期版本去找动漫公司做推广，但动漫公司大都有了自己的动捕设备，觉得当时的版本也不太适合做3D动画。梅嵩也设想过为专业美术提供服务，可当时的版本还不完善，业内的朋友看过以后说：“你这个确实挺有趣的，但用不了。”
转机出现在梅嵩、陈敏和朋友的一次饭局上，聊到视频动捕之后，大家突然灵感迸发，这种低门槛的动捕方式可以作为玩家UGC玩法做到游戏里呀。他们一番讨论下来觉得，可以在游戏中代入动捕数据作为玩家一种全新的个性化展示的特色玩法，也可以直接生成游戏角色短视频，做到游戏外，用于宣传推广使用。
短视频功能实现了以后，不少公司开始尝试起了这个玩法，大家都没见过，都觉得很有趣，不久后就有大公司看上了小K。2019年年中，《完美世界》手游跟小K合作，在6月份的时候上线了一期UGC活动“舞林大会”，用户可以自由使用小K的功能，上传自己的舞蹈，生成游戏角色模仿自己的场景和舞蹈。
很快这个活动的数据爆炸了，由于玩法新奇，玩家们的UGC短视频很快走红，用户的微信分享率成为当期游戏活动类数据最好的，远超其它活动类信息的用户分享。
小K动捕1.0版本的效果
尝到这一波红利之后，腾讯旗下的《一起来捉妖》也马上跟小K达成了合作。《一起来捉妖》上线的不仅仅是一个活动，而是将UGC玩法代入游戏，并尝试与付费内容做了结合。由于这款游戏是AR游戏，自带场景UGC的能力，用了小K之后，部分妖灵角色的动作也有了UGC的空间。
比如在守擂玩法里，玩家可以给妖灵自定义动作，让它守在地图中的擂台，被其他玩家看到。而这个时候，玩家自定义的动作就会有更丰富的表现力，除了搞怪的奇怪姿势、尬舞，还可以实现一些挑衅的动作，激起其他玩家的竞争心。
除此之外，妖灵本身可以跟在玩家的身后，显示在地图上，而它们的跟随动作也可以由玩家自行制作、设置。而玩家想要获得自定义动作，除了在地图中随机获得动捕券，还可以直接购买动捕券，也就实现了新内容、新玩法的付费功能。
这样一来，千人千态的效果就非常突出了。如今，与小K达成合作意向的游戏厂商，已经有近10家，除了腾讯，完美的几款产品之外，还有一些MMO类游戏也找到了与视频动捕技术的结合点。
其实仔细研究，我们不难发现这套技术还有很多的应用空间。比如个性化展示，在MMO类游戏的好友界面、角色界面可以配置自定义动作，在广场等社交环境下可以加入互动动作，在副本等待时也可以与队友互动，更立体一些的情况下，甚至可以实现吃鸡类游戏的尬舞玩法。
可以想象一下《堡垒之夜》的音乐会
更复杂一些来看，在MMO游戏里还可以应用到UGC商城中。UGC内容付费已经是很多沙盒游戏的主流付费趋势，而MMO可以很好地兼容这种模式。
比如《冒险岛2》等MMO产品已经有过自定义皮肤商城的模式，当玩家自制的内容被其他玩家看到、点赞、使用、付费的时候，创作者也更有动力去制作新鲜好玩的内容。只是对于一般用户来说，皮肤的制作门槛并不低。
而使用小K的技术后，玩家自制动作的成本，就只剩下自拍一段视频和上传下载了，这样他们很容易快速制作出一个有意思的动作、舞蹈、互动效果。游戏内部的UGC自产自销循环，也就更容易形成了。
除了一些商用的合作项目、合作形式在增多，自来水的玩家、用户也越来越多了。
小K动捕的专业版目前在小K网上进行内测，最近梅嵩发现，在没有做任何外部推广的情况下，渐渐地固定使用人群达到了1000多人。每当网络上有什么新的舞蹈动作或者歌曲，就有用户将它传到小K的后台，生成各种自定义的视频，传到用户的社群中，或者自行使用。
不仅如此，有的游戏爱好者为了安利其他爱好者，甚至在B站上传了视频动捕到3D动作的制作教程，用剑网三的素材，在几分钟内制作了一个翘着二郎腿吃爆米花的动作效果。
评论区里，其他用过的玩家也在自发地安利小K，对这些二次元爱好者来说，自己利用MMD制作动作，相对来说还是门槛太高、速度太慢了，而视频动捕的确是方便了太多。
事实上，小K专业版的效果已经达到了可供专业美术使用的标准，生成的动作数据可以直接支持导入3D动作工具中进行调试修整，很快就可以调整出达到游戏美术标准的3D动作。
而且由于借助了AI算力，视频的数据提取时间往往在1:2~1:4之间，而当提取出动作数据之后，需要优化的时间就很少了，梅嵩提到：“一段30秒的舞蹈动作，靠动画师纯手工制作需要两周的时间，而用小K导进去修一修，两天就完事了，相当于工作效率提高了4~5倍。”
在越来越多合作厂商、业内伙伴、专业用户以及玩家的建议和引导下，小K动捕逐渐抓准了几个应用的方向：
首先是面向用户UGC内容的应用，重点是游戏，短视频，虚拟直播等方向。
针对游戏项目的合作，他们会提供一些以往的合作经验，来指导厂商选择前期营销活动、UGC玩法定制，以及其他付费点定制等不同的尝试手法，找到符合自身游戏的特定模式。此外，还会提供一些如小程序制作等配套服务，来方便不同项目快速上线活动。
其次是面向PGC方向的应用，提供专业美术、游戏美术使用专业版的动作数据识别、提取功能。上传视频，就可以快速获得相应的动作数据文件，以供进一步的调优。梅嵩透露，目前已经有不少固定的用户，每天都会使用小K提取动作数据。
这样一来，不管是大型厂商、中型团队，还是小型开发商甚至个人，都可以轻松地使用这项技术，做自己想做的内容。
目前他们已经将专业版和娱乐版的入口放到了小K网，直接基于网络协议就能实现，梅嵩说，没有做成SDK的原因在于，他自己也知道SDK接起来麻烦，合作方会有顾虑，用网络协议就好很多。
伴随着逐渐完善的功能，小K也在尝试完善更多的细节、实现更强的效果。比如目前他们已经实现了物理效果，根据游戏提供的素材，生成的视频可以直接表现出飘带等特效。接下来，他们还计划在今年内攻克手指动作识别、表情动作识别等技术难点。
技术一样能为游戏带来巨大价值
这些年，有不少从业者都离开了游戏圈，似乎这个圈子少了些活力，往前走得也慢了下来。像梅嵩和陈敏这样，一些游戏人创业之后，都放弃了继续做游戏的这条路。
然而创业伴随着痛苦与折磨，尤其当创业的目标是做一件新事物的时候，小K在刚成立的头一两年，也因为摸不着门道而吃了不少的闭门羹。直到现在，他们也只有十几名成员，摆在这个小团队面前的困难还有很多。
有意思的是，尽管梅嵩和陈敏对做游戏感到了疲惫，但出来闯着闯着，似乎心又不由自主地飘回了游戏上。梅嵩跟说，现在他们还有很多要做的事，任务非常重，但大家每天都很兴奋，“就好像从前做游戏的日子那样。”
在考虑视频动捕实际应用方式的过程中，或出于对游戏的了解，或因为与业内朋友的交流，他们考虑的答案，总是又绕回“怎么做才能让游戏变得更好”的问题上。当发现两者的结合点之后，团队成员自己，甚至都会玩上头。
葡萄君用自己喜欢的游戏录屏试了一下，的确容易上头
有了这种动力，有了一些实在的案例，他们越来越迫不及待地去脑洞更多的玩法。比如团队成员把每个游戏品类都拿过来找结合点，发现个人展示、3D场景互动、开放式小玩法、UGC商城等等，都可以做。
梅嵩也坚信，技术同样能为游戏带来巨大的价值，只要小K能继续提高视频动捕的质量，那么它的应用空间还会越来越广。因为玩家喜欢更高品质的内容，从业者需要更高的效率，厂商也需要提高自己的产能，所以现在他们还在寻找更多类型的产品和IP，尝试不同的创意。
看到梅嵩和陈敏两个“技术控”的创业之路，这让葡萄君有些感慨，在不到3年的时间里，光靠这十几个人，就能做成一项新的技术，并且乐在其中，或许游戏人的热爱从来就不是研发游戏这一种。用技术改变游戏，为游戏服务又有何不可呢。
甚至连“小K”这个名字的来源，都如此具有程序员的风格：“在游戏行业里面，做动作叫做K帧，然后在AI行业里面，大家都喜欢把产品拟人化，体现它人性的一面，比如小度小爱，所以我们觉得我们的产品可以叫做小K呀。”
游戏公会20年｜美国市场出海成绩｜版号
剑与远征｜2020年重磅产品｜字节跳动
