@ fnii.cn

登录邮箱

卡内基梅隆教授张晖谈互联网视频

发表日期:2011年11月11日      共浏览 2030 次      编辑:


图为卡内基梅隆教授 张晖

演讲全文:

张晖:非常高兴能够来跟大家交流,我准备的题目想很多的专家会谈到一下宏观的问题,我想讲的从个人角度和经历来看互联网的发展,然后讲一下个人的体会。刚才吴老师也谈到了1969年互联网的两个节点,真正的开始实施是70年,正好是40年,我也差不多40岁多一点,我自己想到自己开始接触互联网研究的时候,我开始读博士学位,正好是20年之后。20年的时候互联网当时非常之小,所以我从89年开始讲起,然后讲一下从个人的研究的经历来说,我们从89年讲未来网络,2005年也讲未来网络,我们今天能不能借鉴原来的思路,哪些成功,哪些是失败?

我先讲一下我自己的研究,我当时89年的是学生,参加了一个项目,互联网的工作还是以研究机构为主做出来的,我的教授也是真正第一批带博士生来做互联网的研究,我的所有的同学成了第一代博士生,我们到各个学校开课的时候,都是第一次开网络课,当时做的研究就是服务质量协议,后来又做了一些上网的应用,包括怎么组播,当时最重要的是什么放在网里面做,什么放在网外面做,组播当时说是在网里面做,当时提到了IPv6,当时做了大量的工作。我们当时一个设计理念说也许这个功能不要放在网络里面,要放在网络外面,这个项目现在叫做应用层组播,这现在也是一个研究。

我在美国除了做研究以外,还有一个就是学校在一段时间之内可以给你到工业界去做一段时间,我当时也有机会去了,2001年做的时候是谈三网合一,用的设备三网合一的,当时做的设备只有20%的功能被运营商用,这个设备还在50多家运营商里面跑,公司刚刚被戴尔收购了,今天提到的很多问题以前都提到过,回到头我还要仔细说一下自己的敢想。

我回来以后的第一个感觉就是互联网设计的思路太狭窄了,所以我们当时提出了由我们卡内基梅隆大学牵头提出了一个项目用革命性的方式来设计互联网,为什么提到这件事情呢?并不是一个完全的设计理念的问题,想开拓一下思路,因为思路非常的狭窄,包括我认为最重要的着手的地方应该是在数据的应用层,我们做了这个项目,很多的理念都是从这里出来的。做完了这个项目以后又回到了工业界,做互联网视频方面的控制平台的工作,现在我刚刚回到CSM,我为什么这样说,主要是想自己个人看网络结构的线索,有两个,一个是我做的工作从互联网质量服务控制还有视频做了一些工作,从学术界工业界的角度来看过。另外一个角度就是从下一代的网络结构,刚开始我们就想了下一代的网络结构,包括用革命性的手段设计下一代的网络。

当1990年的时候我是二年级的学生,找论文的题目,对网络最不了解,当时如果我们谈下一代互联网要想什么问题,当时的网络有多大呢?差不多有20多万台机器连在互联网上面,最有里程碑的一个会议就是就是做了一些学术上面的总结,同时工业界做了一些标准,在这个大背景之下,微软是一个新公司,它刚刚上市,窗口3.0卖了300万,这是非常重要的一个成就。另外一个非常大的事情就是英国的互联网换了,同时呢,学术界做很多的工作,真正的突破性的研究是在电话公司里面做的,贝尔实验室,当时做了一个试验,当时已经搭出来了现在的体系结构,当时的体系结构就是一个网有共享的资源,有云。当时的一些主要的概念已经提出了,包括现在很多的主要的软件体系,90面是一个很好玩的一年,我当时正在找题目,觉得更好玩。90年开了一个研讨会,他找了一些专家来讨论,第一个问题视频流量是不是非常重要?视频是不是非常重要的一个应用?为什么要提这个问题?因为我们要设计下一代互联网是不是要特别的考虑视频?任何的讨论会都有两种观点,第一位说视频太重要了,为什么?因为视频以后是所有网络里所有的几乎都是视频的力量,我们可以想像出来是最大的应用,同时做数据的人想,计算机之间可以传无数的数据,我们会想做很多的应用,有非常大的数据量,所以视频只是其中数据的一类,而不是最重要的一类。

由于不同的假设,马上就有不同的结论,一个结论说由于这个视频是这样特殊的数据,一定要在系统结构就要支持了,还有的说视频只是任何数据当中的一类,不需要特别的支持。我们想把视频换成另外一个词都可以,比如说组播,视频一定要放在跨框架里面想,如果把视频换做任何一个问题都要问,我们在电脑上面说要把东西做得越简单越好,但是你要做得最简单,但是不能把有用的东西丢掉,怎么平衡?这是最难的一件事。

我的教授认为视频非常的重要,我们做下一代互联网的核心结构就要有支持的数据,自己做的就是适时网络结构的设计,我在做的过程当中,93年我毕业,当时也是互联网很重要的一年,94年也是非常重要的一年,92年互联网超过了一百万的用户,今天想起来是很小的,93年最重要的一件事就是其中有一个公司对互联网有了一个绝对性的转变,我们今天做互联网结构的人总是把它放在一边,其实这是对互联网影响最深刻的一件事,这件事出现以后,我当时装了一个应用,当时我只觉得这是一个用户的界面,并没有想到它就是一个转变。从这以后,所有的公司都在网络的浏览器上面做,所有的协议都是这个上面做。我们今天所有的标准互联网的中间瓶颈是TCP-IP,所以做应用的人想基本的瓶颈是HCP,这一个好玩的事。

这15年互联网非常的发展,研究还是在做,当时成千论万的文章在发表,而且90年代末期确实是网络研究的黄金时期,因为是第一批和第二批网络研究生在毕业,当时吸引了最优秀的学生。1995-1999年,三篇的博士论文奖是网络里面的,有两个是我们的师弟,另外一个是我的学生,他们做了非常多的工作。这项工作其实跟世界的发展并没有很大的联系,世界在发展,我们做我们自己的事,真正的发展是在外部这边发展的,我们做的发展是在视频方面,其实工业界也做了很多视频的工作,你要看到90-04年,我们当时有real,Windows  media  player等,05年的时候出了很多的事。当时手机可以看视频,所有的人都说乔布斯发疯了,所有的人都错了,所有的评论家都是戴眼镜的,还爱另外一个非常重要的应用 ,以后的奥运会是在网上直播的,任何的重大的历史事件都在网络直播,选举,任何的突发事件都是在互联网上面播放了。世界杯除了在电视上面播也是在网络上面播,美国现在最好的内容现在都在互联网上了,而且已经有很好的营业模式了,包括收费模式。

我们刚才谈到了这些应用,从做网络研究的人第一看流量,我们做什么都先看流量,今天的互联网的流量在视频上面超过了66%。我们要看趋势,今天视频的流量是60%,其他的流量是40%,视频的增长在北美一个人看视频5个小时,电视是看140一个小时,而且我们也知道流量是非常低的,我们以后要走到高清,以后所有的数据都要从互联网上面走,说明流量的增长是在100-1000倍,这是从视频的角度来说。我们今天从同一个起跑点走,视频已经领先了,看到的趋势是什么呢?很快视频的流量会占整个互联网的90%,95%,99%,看你怎么预测了。我们20年前提的问题,视频是不是会在整个的互联网上面占主要的流量,这个问题走到了20年以后我们才有了答案,这个答案是对的,至少在下个五年到十年,视频是主要的一个流量。

对网络设计是什么影响呢?我们知道视频是非常大的文件,我们把它叫做大象一样,小的东西像网页像老鼠一样,以前满天都是小老鼠在走,有几个大象在晃,未来的十年就是满街都是大象,也有老鼠。从网络的控制当中大象之间要互相挤,而且自己要踩自己的脚,这是我们自己必须要考虑的问题。

再谈一下我们网络的渐变,我们一直在扩大和改进,走到今天为止完全从视频角度来看有几个组成部分,我们知道网络本身的ISP是非常重要的,另外一个就是CDN,还有一个就是终端的软件系统,苹果等公司现在都在发展自己的平台。

我总结一下视频有几个特殊的地方,第一对质量的要求很高,我们人看这要有一定的流畅性,还有一件事是最难的,就是性价比是最低的,什么意思呢?我们谷歌的几个包就值几块钱,我们的移动电话一个月付一百多块钱的电话费,视频是它的流量的100倍,但是价格比移动电话还低。从每一个能够拿到的收益来说是最低的,流量越大,收益越低,这是对于工程来说是一个非常大的挑战,我们不能无限的扩容,而且它要求的质量也很高,这是我们的挑战。这件事如果95%的流量都是视频的话,必须要优化,这已经不是意识形态的问题了,以前说我认为视频高还是低,现在是肯定高的,而且已经摆在你的面前了。

我自己有一些想法,我觉得新的支持视频的框架已经出来了,部分的已经在出现了,剩下的就是怎么把它搭起来,还需要一些网络内部体系结构的变化,这些跟以前的研究有一些一脉相承的关系,其中有几件事情提一下,其一我们谈到了CDN,是有许多的局限性的,第二像网络提供方,包括电信肯定会在CDN,在视频的传输方面一定要起非常重要的作用,没有它起的非常重要的作用不可能达到这样的规模和性价比。第三,我们说哪一个是在体系结构的腰,这个已经在了,这个腰是HTTP,它出现了以后,经过常年的演化,已经变成这个腰了。还有一个很重要的概念,体系结构的概念,就是数据和控制要分开,这是非常重要的体系结构的概念。

我说的CDN对视频结构是不适应的,CDN当时的设计是2000年设计的,当时是非常好的想法,解决什么问题呢?解决的问题是你有一个照片,当时是很大的一个文件,下载的时候太慢,照片是4个K,视频有一个G,4个K的东西,你只有做一次决定,选一个很近的服务器,视频不一样了,要播一个小时,只是在选之前做决定,因为你这个视频的质量一直变化,一定要做一个连续的控制,而不是一个控制。而且今天视频应用用CDN已经完全不一样了,以前说是流媒体,今天已经完全不是这样了,首先一个流是被砍成了多个不同的文件,存在不同的服务器,然后从客户端,从不同的服务器取来了,在服务器这端已经没有流的概念了,只有在接受端才有流的概念了。

我提高的HTTP是一个新的腰呢,当时说论文的时候说未来到处都是互联网,互联网是网络搭起来的,这样的结果就是TTTP是一个非常重要的概念,走到今天,很多的实际的问题被解决了,包括怎么解决安全的问题,怎么解决方案,TTTP都解决了,同时TTTP也非常好玩。我再讲一下视频一个很重要的特点,我们知道服务质量很重要,现在我们有这个手段来研究了,以前我们没有大规模的测试的手段,现在我们的每个视频,在播放的每秒钟都可以测试,这是我们在2010年世界杯的时候测试的,横轴是质量,是卡的率,越高就是越坏,0%的时候是最好的,100%是最坏的。纵轴是卡的时间,我们把每一个人看的时间和卡的率结合起来,很好的内容,卡的时间越长的话看的时间就越少,1%的卡的率用户就少看3分钟,用户动质量还是很看重的。

我今天从视频的角度来看,另外一个角度就是谈到了自己做的革命性的网络架构的研究,我前两天准备我的演讲的时候,就找我以前做的题目,我找到了04年做了100×100的项目,这个项目当时要回答很多的问题,因为当时提出用CLD做网络研究,当时很多的人问我为什么要这样做,要回答很多的问题,我一点都没有改,回头你们可以看一下,第一个我回来说这是一个非常重要的研究手段,所有的突破性的研究一段都是从这个手段开始的,这样可以让你扩展思路。一般做一个假设的话,就是让你撑到极限,假设内存的速度和硬盘的速度比例是无限大的,你怎么做这个数据库?为什么要问这个问题,逼着你想极限的情况,很多的系统的项目都是想出来的。还有一个,我觉得由于有这样的想法,你想问题的方法就不一样了,例子有跳过去了。

最重要的一件事,本身跟渐进并不是完全矛盾的,用革命性的想法把一张白纸画出优美的图画,最终的目标在哪里,这样你才知道怎么样去演进,是有意识的去演进,如果你知道最终的结论在哪里,你可以做一个有主动性的演进,这是一个非常重要的原因,还有一个问题,我们做这个东西有什么用呢?工业界会听我们的吗?在所有的技术领域都是有大公司的垄断,操作系统微软,处理器因特尔,那么你可以不用做研究吗?这是我们2004年看的,现在我们回顾一下,微软不可动摇的这种事情已经不存在了,微软现在的冲击结构是非常巨大的,7年以后它已经不是不可动摇的地位了。思科这个公司现在也整天要谈换CEO的问题了,包括我们自己的工业界华为的重要的作用,因特尔一样,原来是不可动摇的,今天我们看到了手机上面的处理器因特尔已经无法竞争了。并不说一家垄断其他的就没有进入的余地了,所以说04年觉得不可能办的事,回过头来看这些事都是可为的,关键的是你看的时间的角度有多远,你看2年以后,5年以后,10年以后。我们预见未来2年的时间觉得太乐观了,5年,10年以后就太悲观了,我们不要局限于2年的限制。

我回到1971年前,这是当时的互联网,14个节点,当时的电话网如日冲天,就是在这种电话网无所不在的情况下,互联网诞生了,所以我觉得下一代互联网从10年的角度来看的话,还是有革命性的变化的。我讲的不怎么宏观,从个人角度来说的,最重要的一件事就是讨论各种问题讲的是5年的事?还是10年的事?还是20年的事?很多的事情发展比较慢,中间的转折最重要的就是HTTP的发现,应用也是起决定性的作用的。我们做系统的人强调系统,都是应用也是非常重要的,我提到的Web也是非常重要的,我认为视频也会起比较重要的影响的,以后还有没有新的应用呢?当然还是会有的,所以我们在做自己的网络的同时,要想怎么样把应用放在上面,我自己个人的观点,认为革命性的设计和渐进性的演进是互补的。

我今天没有空讲我们未来网络的项目,其中有2个非常重要的方向,一个是强调根本性的安全,还有一个是强调怎么让网络结构自我的演变,就像吴老师强调的,就像IPv6的进展,这么长的时间很难把一个新网络给推广下去,一旦推广下去,下次再推广还要花了这么的精力,能不能设计网络的时候就想到自我演变的一些机制,这是我们的正在想的问题。

谢谢。