你所在的位置: 首页 > 正文

微秒级数据处理,华为云存储的“快”节奏

2019-09-05 点击:1894

“以前(人们总是认为)我们写电影,我们现在不需要吹,每个人都知道我们是真正的奶牛。”华为副总裁兼华为云业务总裁郑业来日前在成都召开会议。华为云城城市峰会2019年“说。”

img_pic_1562573215_0.jpg

在此次发布会上,华为还发布了云端存储全闪存战略,并推出了第一款战略产品新一代超快IO云硬盘,这表明华为正在推动云存储形式从毫秒到微秒。

img_pic_1562573215_1.png

术语微秒,我相信大多数人都没有概念。长期以来,由于网络和存储因素,在实际应用中无法实现微秒延迟或响应时间。然而,随着5G等新兴技术的发展,越来越多的智能应用开始出现。例如,今年3月,人民解放军总医院的医生在3000公里外的地方操作手术器械,完成了全国第一个手术器械。该病例是基于5G远程帕金森病“脑起搏器”植入手术。

这一成就归功于5G网络的高速率,大带宽和低延迟。由于网络已经能够提供微秒应用,因此存储介质必须迎合这一趋势,以便最大化系统性能。因此,我们刚刚介绍了华为的云存储全闪存策略,它大大加速了传统的“慢车”存储和网络,并与计算一起构成了智能时代的数据处理。三节车厢。“

img_pic_1562573215_2.png

“从毫秒到微秒时代,数据中心客户主要面临两大延迟瓶颈:一方面是传统的硬件和软件协调,特别是网络传输延迟瓶颈;另一方面,传统的物理容量瓶颈硬盘媒体。“华为云CTO张玉玺介绍。 “在我们看来,网络延迟一直是数据处理能力的”严重伤害“,即使是短暂的等待也会带来糟糕的体验。另一方面,HDD存储介质的发展确实变得越来越多的问题。现在随着16TB硬盘的出现,硬盘的响应时间仍然是公众关注的焦点。“

面对众多客户的需求和痛苦,华为云也开始在多个层面上解决它。对于系统级延迟,华为云通过软硬件架构和数据中心架构优化实现了极简主义网络。它还实现了多核无锁并发,可将软件延迟和网络延迟降低到非常低的水平。因此,整个数据处理IO出来并可以实现50μs-100μs的稳定延迟。关于存储介质延迟问题,华为Cloud将Flash替换为Flash,将介质延迟从原来的4毫秒缩短到数十微秒。

当然,这不是一个简单的替代品。俗话说,好马具有良好的马鞍,配合高速Flash媒体,还需要优化软件才能最大限度地发挥媒体的性能。同时,尽可能减少延迟,实现与网络延迟的一致性,彻底解决硬件层面的瓶颈问题。

img_pic_1562573215_3.png

“传统的硬盘是物理磁盘。当提供算法时,需要考虑大圆和小圆的问题。因此,先前的算法针对物理磁头的读写性能和性能进行了优化。随意读写的比例明显较低。张玉玺说:“用Flash媒体取代后没有这样的问题。随机读写的表现非常好。但对于Flash,我们需要确保我们不会在某个位置继续频繁读写,因此该算法也需要进行调整。“为此,华为云工程师进行了大量复杂的算法优化工作在确保Flash介质的使用寿命和应用可靠性的同时,提高性能并减少延迟。

我们正处于数据爆炸的时代。在通往智能的道路上,数据已经成为我们生存的“食物”,掌握了数据的应用,我们可以把握未来的智能时代。根据华为全球行业展望(GIV)报告,2025年全球年度数据增长将增加到180ZB,但目前企业数据利用率仅为10%,且数据值尚未完全释放。如果您想使数据值得,您需要从许多方面采取措施。因此,中国也带来了“数据库”的新概念。

img_pic_1562573215_4.png

华为云指出,限制云计算更好地服务于智能时代的瓶颈是“最后一公里”。在云中,“最后一英里”是数据通过服务器软件,网络,存储服务器并最终到达媒体的过程。

为了实现100微秒的“最后一英里”突破,华为云从存储引擎到架构,从自主开发的芯片到算法优化,再到最终的AI祝福,做了大量的工作。其中,AI应用程序是最具吸引力的内容,也是华为云存储的来源之一。根据张玉玺的说法,华为云存储可以实现“使用速度更快”,并已成为更新摩尔定律的重要保证。然后问题就来了。我们遇到的许多电子设备都越来越慢。为什么华为云会反其道而行之?

每个人都对日常生活有深刻的理解。例如,刚购买的手机一直响应迅速。但几个月后,随着越来越多的系统浪费,手机的速度将下降,需要不断清理和优化,但这只是一个缓慢的计划。一年后,手机将卡住,打开应用程序需要几秒钟,严重影响用户体验。事实上,不仅仅是手机,所有电子产品都有类似的问题。根据“摩尔定律”,系统性能每18个月翻一番,旧系统自然会越来越不能跟上时代的步伐。

img_pic_1562573215_5.png

但是,基于AI的基于华为的云存储正在解决这个问题。 “在云端,随着越来越多的用户,云的业务负载越来越高,资源的竞争也越来越明显。云服务提供商可以利用良好的资源规划,通过运营及时响应客户需求。维护人员。调整和优化配置,但这个过程需要一定的响应时间。现在借助人工智能,华为云存储可以在很大程度上实现系统自动化的意识和调整,而不是通过人工干预。需要通过快速调整系统,“张玉玺说。

当作品允许时,可以实现“更快更快”的效果。实现这一目标后,华为云存储还从技术层面保证了系统的最高性能,使每个硬件产品的性能尽可能地发挥作用,最终“接近中等能力的极限”。

img_pic_1562573215_6.png

微秒响应似乎有所提升,但正如张玉玺在演讲中提到的那样,普遍感知,万物智能和万物互联的时代已经到来,以加速依赖云计算和创新产业的发展。满足各种新兴应用。针对数据的实时需求,华为云将继续创新,创造新一代智能数据库,最终将云存储引入微秒时代。

http://www.whgcjx.com/bdsMOOjM.html

黑龙江门户网 版权所有© www.lyzhseo.com 技术支持:黑龙江门户网 | 网站地图