免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: send_linux
打印 上一主题 下一主题

互联网技术新热点之--如何提高视频转码和存储效率?(获奖名单已公布2013-5-6) [复制链接]

论坛徽章:
32
CU大牛徽章
日期:2013-05-20 10:45:13每日论坛发贴之星
日期:2015-09-07 06:20:00每日论坛发贴之星
日期:2015-09-07 06:20:00数据库技术版块每日发帖之星
日期:2015-12-13 06:20:0015-16赛季CBA联赛之江苏
日期:2016-03-03 11:56:13IT运维版块每日发帖之星
日期:2016-03-06 06:20:00fulanqi
日期:2016-06-17 17:54:25IT运维版块每日发帖之星
日期:2016-07-23 06:20:0015-16赛季CBA联赛之佛山
日期:2016-08-11 18:06:41JAVA
日期:2016-10-25 16:09:072017金鸡报晓
日期:2017-01-10 15:13:292017金鸡报晓
日期:2017-02-08 10:33:21
11 [报告]
发表于 2013-03-28 12:35 |只看该作者
本帖最后由 jieforest 于 2013-03-28 21:17 编辑

支持活动。。。


1、视频转码和存储,您是如何提高效率的?
视频转码和存储是做视频类网站的必备技能,要提高效率,可以从多方面实现。
1)选用专业的硬件视频转换器,通过专门的硬件转码比用软件转码效率高得多。比如康能普视ADVC55数字视频转换器。
2)选用高配置的服务器实现视频转码(对个人用户来说,可以选用高配的图形工作站来实现视频转码)。
3)选用商业级或公认的视频编解码算法来实现视频转码。
4)当然是让视频转码工作实现自动化。单靠人工转码和存储,效率是很低的;用高配置的服务器同时进行多部视频的转码,通过任务的并行来提高效率。


2、谈谈您对这个行业的前景预测?
用户的兴趣有这么几点:音频、视频、文字,图片,视频是其中之一,属于广大人民群众永恒的需要。视频转码会一直存在下去的。因为人民群众的需求会越来越高。
1)3D视频
目前3D视频的算法还不成熟,相应的编解码也不够完美,3D视频的转码是未来的需求之一,比如3D视频转2D视频。
2)VP8视频编码格式
Google开源了VP8视频编码格式,让全世界人民摆脱了H.264的专利收费阴影。这不得不说是最近几年视频领域进步的一大里程碑。VP8视频编解码库也发布了,那么,相应的VP8视频转码也是未来的需求之一。
3)4K视频
4K视频又称为双倍高清视频,它的分辨率为3840×2160,是未来几年视频领域的热点。相应的4K视频编解码算法和转码,也是未来的需求。

版权声明,以上内容为原创,转载需征求作者(我)的同意。

论坛徽章:
0
12 [报告]
发表于 2013-03-28 13:22 |只看该作者
本帖最后由 straw 于 2013-03-28 13:26 编辑

转码是高并发的任务,用显卡或者专门的视频逻辑卡来做比较合适,即省电又高效。啥时候intel提供一些api专门利用intel CPU和intel内置显卡的高效指令来进行转码的话就好了。

存储效率的提高,一方面依赖视频算法的提升,另一方面则是冗余数据的reduce,希望视频数据里面也能有 冗余数据的reduce。

论坛徽章:
13
CU大牛徽章
日期:2013-04-17 11:20:3615-16赛季CBA联赛之吉林
日期:2017-05-25 16:45:4715-16赛季CBA联赛之福建
日期:2017-03-13 11:33:442017金鸡报晓
日期:2017-02-08 10:39:422017金鸡报晓
日期:2017-01-10 15:13:29IT运维版块每日发帖之星
日期:2016-03-15 06:20:01IT运维版块每日发帖之星
日期:2015-10-02 06:20:00CU十二周年纪念徽章
日期:2013-10-24 15:41:34CU大牛徽章
日期:2013-09-18 15:15:45CU大牛徽章
日期:2013-09-18 15:15:15CU大牛徽章
日期:2013-04-17 11:46:39CU大牛徽章
日期:2013-04-17 11:46:28
13 [报告]
发表于 2013-03-28 14:37 |只看该作者
本帖最后由 xdsnet 于 2013-03-28 14:48 编辑

1、视频转码和存储,您是如何提高效率的?
        一般转码工作涉及 编码格式、分辨率、码率 3个变量,其工作量大致为这3个变量可选范围的乘积,存储和码率正相关。
       视频转码的目的是为了适应不同的应用场景,主要是不同的设备(软硬件对解码的支持限制,影响分辨率和编码(包装)格式)以及网络环境(数据传输限制,影响码率)。
所以如果有一种编码对客户端软硬件有良好的适应性,就可以减少转码中编码格式的要求,只考虑分辨率及码率,在我们的一个应用中,综合考虑了这方面的情况,确定了最终
只采用MP4(h.264/AAC)编码和包装,其当前有最广泛的应用支持能力,即可用于在线,也适合线下播放,而且有完整的开源工具链支持自动转码(利用ffmpeg,x264等
实现全格式转向这个编码,利用qt-faster等工具实现元数据修正支持在线播出),这样就把转码工作的工作量减少为分辨率和码率的乘积,再根据分辨率特性对码率进行裁剪就
变成了有限的几个分辨率/码率 对应表了,我们最终确定的有4:3长宽比视频有4种分辨率(码率),16:9长宽比视频有6种分辨率(码率),其中最高码率的同时作为以后的数据
源留档(因其码率较高,有相当于原始质量的主观效果)。
       在应用时大致是这样的逻辑进行转码
       a1.判断原始视频长宽比
       a2.根据4:3或者16:9 分别转成4种或者6种视频

      对于存储,这涉及使用中的定位和管理以及减少浪费。我们考虑原始资源转码前编号,转码后,按长宽比和码率分组情况组成附加信息数据,以"编号-附加信息数据"进行命名。
当然因为视频文件一般较大,需要有好的办法组成大的视频存储环境(有冗余的环境。)此外存储环境要高带宽(多并发)、高有效、高安全      
      对于字幕,采用外挂字幕文件,而不是直接合成的方式即方便了使用,又减少了转码工作的复杂度。
  
      自动转码环境需要比较强的硬件运算能力,可以考虑比较好的计算机。为了保证安全,进一步提高自动化水平,搭建1个以类Unix为基本环境的转码系统,最好有一个数据网络
环境,这样数据上传到服务器后就进行编号登记,进入待转队列,转码管理机依次读取转码队列,分析长宽比,登记待转进程标志,分配转码任务,各转码机调用分别的配置自动进
行实际的转码转码,对于多核计算机,其实可以直接并行多个转码进程。转码完成后登记转码成果,移除待转队列。基本上G级内部网络就可以很好的支持较大的转码数据交流带宽了。
这样的流程基本上一些脚本控制就能完成了,结合一些标志位和轮询机制就可以很好的调度执行。

2、谈谈您对这个行业的前景预测?
    视频应用很广泛,当前前景较好,但也有很多竞争。现在在线点播应用特别多,这涉及大量的转码工作。不过现在技术环境限制主要还在网络等限制上。点播涉及的随机定位问题
还因应用环境的限制效果有待提高。

论坛徽章:
5
摩羯座
日期:2014-07-22 09:03:552015元宵节徽章
日期:2015-03-06 15:50:392015亚冠之大阪钢巴
日期:2015-06-12 16:01:352015年中国系统架构师大会
日期:2015-06-29 16:11:2815-16赛季CBA联赛之四川
日期:2018-12-17 14:10:21
14 [报告]
发表于 2013-03-28 15:39 |只看该作者
xdsnet 发表于 2013-03-28 14:37
1、视频转码和存储,您是如何提高效率的?
        一般转码工作涉及 编码格式、分辨率、码率 3个变量,其 ...


目前是预转码的多还是实时转码的多呢?
预转码比如后台慢慢的转码视频
实时转码比如用户点播的时候,开始看的时候,边转码边传给用户播放

论坛徽章:
13
CU大牛徽章
日期:2013-04-17 11:20:3615-16赛季CBA联赛之吉林
日期:2017-05-25 16:45:4715-16赛季CBA联赛之福建
日期:2017-03-13 11:33:442017金鸡报晓
日期:2017-02-08 10:39:422017金鸡报晓
日期:2017-01-10 15:13:29IT运维版块每日发帖之星
日期:2016-03-15 06:20:01IT运维版块每日发帖之星
日期:2015-10-02 06:20:00CU十二周年纪念徽章
日期:2013-10-24 15:41:34CU大牛徽章
日期:2013-09-18 15:15:45CU大牛徽章
日期:2013-09-18 15:15:15CU大牛徽章
日期:2013-04-17 11:46:39CU大牛徽章
日期:2013-04-17 11:46:28
15 [报告]
发表于 2013-03-28 15:41 |只看该作者
本帖最后由 xdsnet 于 2013-03-28 15:48 编辑

回复 14# T-Bagwell

应用要求是预转码,因为我们的资源单体比较大,实时编码不太可行(软硬件环境),我们是先转码后才上线点播支持。


因为我们是自己制作资源视频,所以业务流程也和上传转码不完全一样。

其实上传转码类似应用一般要云技术支持才行,当前这样应用的都是很大的公司。就是一些专业公司也是用预转码支持这样的应用。

在上传转码中还有一个很麻烦的问题不好处理,就是重复,视频资源重复可能造成较大的浪费,现在还没有较好的自动化手段减少。





   

论坛徽章:
9
CU大牛徽章
日期:2013-04-17 11:06:23CU大牛徽章
日期:2013-04-17 11:08:52CU大牛徽章
日期:2013-04-17 11:09:10CU大牛徽章
日期:2013-04-17 11:09:40CU大牛徽章
日期:2013-04-17 11:09:57CU大牛徽章
日期:2013-04-17 11:10:17CU大牛徽章
日期:2013-05-20 10:43:41CU大牛徽章
日期:2013-05-20 10:44:06CU大牛徽章
日期:2013-05-20 10:44:16
16 [报告]
发表于 2013-03-28 15:53 |只看该作者

2、谈谈您对这个行业的前景预测?
偏了点

论坛徽章:
5
摩羯座
日期:2014-07-22 09:03:552015元宵节徽章
日期:2015-03-06 15:50:392015亚冠之大阪钢巴
日期:2015-06-12 16:01:352015年中国系统架构师大会
日期:2015-06-29 16:11:2815-16赛季CBA联赛之四川
日期:2018-12-17 14:10:21
17 [报告]
发表于 2013-03-28 16:17 |只看该作者
回复 15# xdsnet


    是啊,视频去重这个问题似乎比较麻烦

论坛徽章:
17
CU大牛徽章
日期:2013-03-13 15:32:35午马
日期:2014-07-29 13:09:18未羊
日期:2014-09-19 16:21:07巳蛇
日期:2014-09-29 16:17:06巳蛇
日期:2014-10-16 08:33:00白羊座
日期:2014-10-16 09:10:24申猴
日期:2015-01-09 11:36:332015年亚洲杯之澳大利亚
日期:2015-03-03 13:57:302015年辞旧岁徽章
日期:2015-03-03 16:54:152015年亚洲杯之沙特阿拉伯
日期:2015-03-27 11:24:282015亚冠之阿尔纳斯尔
日期:2015-06-16 11:50:23CU大牛徽章
日期:2013-03-13 15:38:15
18 [报告]
发表于 2013-03-28 19:19 |只看该作者
不懂,学习学习

论坛徽章:
208
巨蟹座
日期:2013-09-02 09:16:36卯兔
日期:2013-09-02 20:53:59酉鸡
日期:2013-09-05 21:21:45戌狗
日期:2013-10-15 20:51:17寅虎
日期:2013-10-18 21:13:16白羊座
日期:2013-10-23 21:15:19午马
日期:2013-10-25 21:22:48技术图书徽章
日期:2013-11-01 09:11:32双鱼座
日期:2013-11-01 20:29:44丑牛
日期:2013-11-01 20:40:00卯兔
日期:2013-11-11 09:21:32酉鸡
日期:2013-12-04 19:56:39
19 [报告]
发表于 2013-03-29 09:11 |只看该作者
没人谈存储么?存储版的大牛呢?

论坛徽章:
4
CU十二周年纪念徽章
日期:2013-10-24 15:41:34狮子座
日期:2014-02-10 17:22:57技术图书徽章
日期:2014-02-18 08:44:12技术图书徽章
日期:2014-04-29 14:15:42
20 [报告]
发表于 2013-03-29 09:25 |只看该作者
H.264貌似是主流啊
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP