快手刷视频为什么没有弹幕？

来源：蜘蛛抓取(WebSpider) 时间：2022-06-25 10:55 标签： 斗鱼弹幕助手下载
弹幕时代，人人都是“剧情创作者”，那些脑洞大开、反套路的内容对剧情堪称锦上添花。然而，密集的“前方高能”弹幕刷屏起来也容易造成错失“高能”剧情。快手App的长视频频道也存在着“弹幕干扰剧情”的问题，为此音视频技术团队开发了一套 高精度、低延迟的智能弹幕防挡解决方案 ，智能化定位画面中用户感兴趣的精彩内容，让弹幕精准“绕开”核心区域，真正实现沉浸式看剧、弹幕互动两不误。

左图：密集弹幕遮住主角

右图：采用智能 弹幕防挡

为了解决弹幕遮挡问题，行业中采取了一些自适应弹幕防遮挡的能力，例如采用人像防遮挡的方法，对人像生成蒙版，让弹幕只出现在蒙版外。然而由于视频的多样性，这些方法也会产生各种问题，如蒙版误检、蒙版延迟等，对观感造成影响。如 下方图二中，左、右两图中间位置的弹幕均属于错误防遮挡，其中左图较为严重。

左图人物蒙版滞留到了下一帧

提升蒙版精度，呈现精彩内容

面对行业痛点，快手音视频团队开发了一套高精度的蒙版生成算法。通过调研分析用户对弹幕防挡的需求，我们发现时有时无出现的弹幕十分影响观感，这种现象称为“弹幕闪烁”或“弹幕抖动”。我们将这类问题进行总结，抽象成算法层面就是需要提升蒙版的稳定性、蒙版对各种场景的鲁棒性，并以此为目标提高蒙版的精度。团队使用图像分割算法来生成蒙版，让弹幕只出现在蒙版外。
接下来将具体介绍，如何提高蒙版的稳定性和各种场景的鲁棒性。

通过对大量视频的分析，我们发现蒙版的稳定性可以分为以下两个方面：

  1. 连续画面蒙版的时序稳定性：蒙版在连续画面里检测稳定不抖动

  2. 转场画面蒙版的实时稳定性：在转场时蒙版要实时跟上转场不滞后

下面将具体分享在这两个方面的优化。

我们使用图像分割算法来生成蒙版，采用主流的分割算法框架U2Net [1] ，为了增强算法的时序稳定性，参考目前主流的增强时序稳定性的算法non-local [2] ，non-local会计算当前帧和前面若干帧的相似性，然后将这些特征进行融合，从而达到增强时序信息的目的，non-local结构如下图所示：
我们按照non-local的原始方法，在分割网络上提取特征  ，然后同时拿到前面T-1时刻的特征  特征作为网络的后续输入，从而达到增强稳定性的效果。
除此之外，我们还在原有模型基础上再加上前一帧蒙版作为引导，使其稳定性更强。
上述针对时序稳定性加了很多时序信息，导致在转场时算法还会使用前面时刻的信息，存在蒙板滞后问题，而实际使用场景又存在很多转场场景。为了解决这个问题，我们使用了SSIM算法判断前后两帧图片的相似度，SSIM计算公式如下：
x，y分别是两张图片,
如果相似度很高，那么就使用上述提到的时序稳定性信息；如果相似性很低，那么就不使用时序稳定性信息，这样很好解决了转场带来的蒙板延迟问题。同时，我们还进一步优化了ssim算法的速度，将其速度压缩到1ms内，对算法整体速度基本没影响。

在快手App中，用户创作的视频存在多种场景，算法需要覆盖绝大部分场景数据。为了解决场景数据覆盖问题，我们搭建了一套数据标注系统，通过这套数据标注系统来收集各个场景的数据对算法进行优化。

我们搭建了一套数据标注系统，覆盖了从爬取、筛选、标注到标注质量评估的全流程，具体如下图所示。
首先收集一批针对性场景数据并进行数据筛选，其方式为：判断是否有人？是单人还是多人？......根据上述条件获取符合要求的数据，通过多模型标注获得图像标注，然后使用快手自研的标注质量评估算法来筛选去除质量差的数据，剩下的标注用来训练。最后，再进行从多模型标注、标注质量评估到标注数据训练这一流程，通过多次迭代来完善数据的质量。
这套数据标注系统可大幅提高数据迭代速度，对优化算法十分重要。
我们总结了快手App上视频弹幕比较多的场景，共汇总出十几个方向，如吃播、街头采访、影视等。通过内部数据爬取系统获取相应场景的图片数据，再通过上述系统进行标注筛选，最后构建出百万级别的数据集。我们使用这个数据集进行训练后，算法对快手App弹幕场景的鲁棒性得到了极大增强。

各类场景背景误检的优化

此外还发现算法存在对各种场景的背景误检，为解决这一问题，我们将可能存在背景误检的场景总结成十几类，包括动物、植物、自然风景等，然后使用上述数据标注系统，爬取大量的背景样本来优化误检问题，通过这一套背景样本爬取训练，算法对背景误检的鲁棒性增强了很多。
通过上述时序稳定性的优化和对各种场景鲁棒性的优化，这套算法实现高精度识别画面中的人物，对人物区域进行精确地弹幕防挡。在快手App多种场景中，我们进行了大规模测试，覆盖影视、美食、生活、咨询等方向，包含多人、小人、快速场景切换、肢体动作大等复杂情况，主观评测准确率达到了95%以上。

优化蒙版延迟，匹配画面内容

在观看弹幕时，用户希望防挡效果可以实时匹配画面内容。如下图示例中，左图是T时刻的画面，中间是T+1时刻的画面，可以看到T时刻的蒙版(人物头像处)还滞留在T+1时刻，没有实时跟上剧中人物动作，导致体验较差。这种现象称为“蒙版延迟”，相关问题在转场场景下尤为严重。

左图：T时刻；中图：T+1时刻；右图：T+2时刻

通过分析，我们发现蒙版延迟问题主要是在工程部署时出现的，于是联合上下游各团队进行梳理分析弹幕防挡的流程，发现导致蒙版延迟问题的主要原因是：
  1. 转码视频和生成蒙版的视频不一致
  2. 蒙版在播放器渲染时候出现延迟
转码视频不一致的主要原因是客户端会根据用户的手机和网络下发不同码率的视频，也就是说同一个视频可能会转码出来多个不同码率的版本，这些不同码率的视频无法保证在同一时刻内容的一致性。
如下方图五、图六所示，针对转码后的视频a和视频b，其中第41帧画面内容不一致，可理解为视频b相对视频a延迟了一帧。而实际上蒙版可能就是使用视频a生成的，如果客户端播放的是视频b，那么就会出现上述蒙版延迟问题。

左图：第40帧；中图：第41帧；右图：第42帧

左图：第40帧；中图：第41帧；右图：第42帧

除此之外，即使不同码率的视频可以保证同一时刻内容都一致，播放器渲染蒙版时也可能存在延迟，比如播放第T帧画面内容时候使用第T-1帧的蒙版进行渲染，这是因为播放器播放视频和对蒙版进行渲染是相对独立的，如果蒙版渲染不能跟上播放的内容就会导致蒙版延迟。
弹幕防挡对蒙版延迟比较敏感，所以上述提到的问题对弹幕防挡任务影响很大。我们根据上面提到的问题进行优化，首先对转码参数进行优化，保证转码后的视频和原视频时间戳一致，即同一时刻画面内容相同；与此同时也对播放器渲染进行优化，保证渲染的蒙版和画面内容保持一致。
经过上述一系列优化后，我们在客户端上找到大量视频测试体验，绝大多数视频弹幕防挡都能做到近乎分秒不差地跟上画面内容。
围绕 业界弹幕防挡存在的蒙版不准确、蒙版延迟等问题 ，快手音视频技术团队提出了一套高精度、低延迟的弹幕防挡解决方案。同时，该解决方案在快手App的长视频页面应用落地。据相关数据显示，弹幕防遮挡能力对长视频页面的视频消费时长、页面的活跃用户数均带来正向提升。未来， 快手 音视频技 术团队将不断将前沿技术应用在业务场景中，为用户带来更优质的视听体验。

快手怎么发弹幕？快手app看视频发现有弹幕，自己也想发弹幕，该怎么操作呢？下面我们就来看看快手小视频发弹幕的技巧，详细请看下文介绍

快手看视频的时候，想要发弹幕，该怎么操作呢？下面我们就来看看详细的教程。

打开弹幕设置。打开快手，进入视频播放页，长按播放界面。

开启弹幕。在弹出的选项中点击【弹幕】，即可开启视频弹幕。

打开弹幕输入窗口。点击播放页底部输入框。

发送弹幕。输入评论，点击右侧【发送】即可。

以上就是快手小视频发弹幕的技巧，希望大家喜欢，请继续关注脚本之家。

  • 快手如何查看送出礼物记录？在看快手直播的时候，我们可以送主播礼物，那么我们怎么样查看以前送过的礼物呢，下面一起来看看具体的操作方法吧

  • 快手怎么调整小视频的清晰度？在快手上用户可以用照片和短视频记录自己的生活点滴。下面小编给大家介绍一下快手调整小视频清晰度的方法，大家快动手操作一下吧

  • 快手小店怎么退款？大家都知道快手可以在快手小店中买东西，但是如果觉得东西有问题，或者其它向要退货的因素，是可以申请退款，下面小编就来教大家快手小店怎么退款

  • 使用快手的时候，想知道怎么查看预约的直播，下面来介绍一下方法，赶紧看看吧

  • 快手是非常有趣的一款短视频软件，怎么使用变声功能呢，下面给大家带来操作步骤，一起看看吧

  • 快手是一个短视频APP，我们可以用它来记录我们的生活。有时候在我们发布视频后，发现有不足想要修改，那么快手如何修改已发布的视频，赶紧看看吧

快手看视频的时候，想要发弹幕，该怎么操作呢？下面我们就来看看详细的教程。

打开弹幕设置。打开快手，进入视频播放页，长按播放界面。

开启弹幕。在弹出的选项中点击【弹幕】，即可开启视频弹幕。

打开弹幕输入窗口。点击播放页底部输入框。

发送弹幕。输入评论，点击右侧【发送】即可。

我要回帖

更多关于 斗鱼弹幕助手下载 的文章

 

随机推荐