那些脑洞大开的抖音特效[抖音崩了]

kxyz 2021-11-28 阅读:54
那些脑洞大开的抖音特效[抖音崩了]

体到技术层面来说,抖音特效主要使用了计算机视觉(CV)和计算机图形学(CG)技术。
" 特效 " 已经成为抖音用户在作品投稿时最常见的玩法,而这些五花八门的特效究竟是怎样制作出来的,却鲜有人知。
7 月 28 日,抖音联合火山引擎在北京举办智能特效技术开放日。火山引擎相关特效技术专家分享了抖音特效的生产流程和技术原理。
在影视领域,人们对 " 特效 " 并不陌生,而且随着科技的进步,影视特效越来越令人震撼,特别是 AI 技术的兴起,在动画建模、渲染、编辑合成等特效制作环节带来了巨大的提升。例如大家熟知的《复仇者联盟》系列,就用了机器学习的方法,通过捕捉演员的面部表情来制作灭霸的表情,让虚拟角色的表情特效达到非常生动、逼真的效果。
然而,在另一方面,影视特效的制作成本也非常高。此前有媒体报道好莱坞视觉大片的特效费用至少占总制作费的 60% 以上。即便在如此高的成本之下,效率也并不尽如人意,据说 1 秒的特效镜头,如果只用一台高性能的机器渲染,可能需要 50 天之久。
考虑到抖音特效的用户都是普通消费者,火山引擎在开发抖音特效相关技术时严格遵循了两个原则:一是要用前沿的技术来实现好的特效效果,二是尽量降低特效创作和使用的门槛,让每个人都能用特效更好地表达,做出具有想象力和表现力的内容。

其中,CV 代表对现实世界、对真实画面内容的理解,可以理解画面里是一个全身人像、还是只是一只手做了某种手势;也可以去理解画面里面有没有天空、地面或者建筑物等等等。
深度学习技术的发展对于 CV 技术有非常大的推动作用。深度学习是通过人工神经网络去理解训练样本内在更深层次的规律,通过数据以及模型结构,进行结构化的表达。通过深度学习的技术,可以帮助 CV 在检测、分割、智能生成以及 SLAM(即时定位与地图构建)等方面,都可以达到更好的精度、准确率以及适应面。
火山引擎特效技术专家在分享中也强调,CV 技术中达到的 " 人脸贴合 ",有别于日常所说的人脸识别技术,它本质上是通过对人脸的关键锚点进行检测来实现,这些点位的信息,无法还原出人的相貌;而且这些点位数据,都只是在手机端上进行检测,不会上传到服务器。
除了 CV 之外,要完成演示中的特效,还需要把一些虚拟的素材,显示或者叠加渲染到真实画面上,这就是 CG 技术。
比如我们在很多抖音特效中会看到,画面中人脸边上一直有一个水果,右边也有很多的水果随机飞出,这些水果的动画,还有最后人头上戴着的 3D 菠萝头饰,都是通过 CG 技术叠加上去的。
这样,有了 CV 与 CG 技术之后,可以简单的生成很多特效。CV 提供了对真实场景的理解,告诉你应该在哪里叠加虚拟素材;CG 技术完成虚拟素材的叠加任务。比如把一顶假的帽子戴在头上,或者做一个假的口红涂在嘴唇上等等,都是如此。
但仅有 CV 和 CG 技术,还不能达到让用户以更低门槛使用特效的目标。在进一步发展特效技术的过程中,火山引擎又引入了模版或者剧本的概念,也就是说用户可以作为主角带入到故事情节当中,按照一定的规则最终形成比较高质量的视频。
比如在某些特效中,画面左边的水果与右边飞出来的水果进行碰撞,就会变成一个新的水果,变化多次之后,进入到下一个阶段,就会让用户头上戴了一个菠萝的帽子——这就是在一定规则下,CV 与 CG 之间的互动技术。
火山引擎特效技术专家表示,除了 CV、CG、互动技术之外,抖音的特效功能还要通过反复的工程与产品化的迭代,最终才能够在抖音当中集成、上线,面向所有的用户。

请先 登录 再评论,若不是会员请先 注册