新的数据中心架构提出了新的数据挑战:数据采集将如何驱动从边缘到核心的数据中心架构的发展。
数据显然不再是以往的样子。作为数字化转型的一部分,各种组织正在寻找数据的新用途。从飞机引擎的数据到杂货店的消费数据,每个行业都有大量的例子,数据成为企业竞争优势的关键所在。人们将这些数据称之为新数据,这与人们最熟悉的财务和ERP数据截然不同。那些原有的数据大部分是交易性的,而且是从内部资源中捕获的,而新数据推动了客户机/服务器的革命。
新的数据既是交易型的,也是非结构化的,公开可用,以及私下收集的,其价值来源于对其进行汇总和分析的能力。粗略地说,人们可以将这些新数据分为两类:大数据——用于批量分析的大量聚合数据集,快速数据——从许多来源收集的用于推动立即决策的数据。大数据和快速数据模式正在推动数据中心(公共和私有)的全新架构的发展。
以下介绍数据中心新架构所提出的五个主要的数据挑战:
(1)数据捕获正在推动数据中心架构从边缘到核心的发展:从源头获取新的数据。这些数据来自海洋,来自石油和天然气勘探,也可能来自于卫星轨道、天气应用、电话、图片、视频和推特或电影的场景中。从源头收集的数据量将比人们目前所知道的高出几个数量级。
(2)数据规模正在推动数据中心的自动化发展:大型云提供商的规模已经十分庞大,他们必须在自动化和智能化方面投入大量资金来管理基础设施。任何人工管理在其运营规模上成本高昂。
(3)移动数据正在改变全球网络:如果数据无处不在,那么必须移动数据才能进行汇总和分析。当人们认为并且希望网络在40到100 Gbps的速度可以满足互联网带宽要求时,数据移动的需求却可能会增加100倍到1000倍。
(4)数据价值是革命性存储:毫无疑问,数据对组织来说越来越有价值,数据在较长时间内的实用性随着机器学习和基于人工智能(AI)的分析而日益增长。这意味着更多的数据需要存储更长的时间,并且数据必须是可以整体处理的,以便有效分析。
(5)数据分析是未来计算密集型体系结构的驱动因素:通过分析的性质,特别是机器学习,组织必须保留更多的数据,以便将其聚合到大数据存储库中。当应用于多个更大的数据源时,这些类型的分析提供了更好的答案。而分析和机器学习是一种计算密集型操作,因此大数据集上的分析驱动大量的高速处理。与此同时,分析的计算密集性促使组织推出从内存数据库到100 PB级别的对象存储多种新方式来存储和访问数据。
新的数据在源头被采集。从源头收集的数据量将比人们目前所熟悉的高出几个数量级。例如,一辆自动驾驶汽车每天将产生高达4TB的数据。而全球的汽车数量数以亿计,人们在未来必须应对这种新的数据冲击。
很明显,人们不能从源头采集所有的数据,并尝试通过当今的网络将其传输到集中的位置进行处理和存储。这推动了数据中心全新模式的发展,不同的环境以不同类型的数据为特征,这种新的“边缘计算”环境被优化,以便在传输到一个独立的核心数据中心环境之前,对大量数据进行捕获、存储,以及部分分析。
新的边缘计算环境将推动计算基础架构各个方面的根本性变革:从CPU到GPU甚至MPU(微处理单元),从低功耗的小型闪存存储到物联网(IoT)网络和协议,不需要宝贵的IP地址。
以下来看不同的数据采集例子。在生物信息学领域,数据在源头上得到爆炸式增长。在X光检查乳腺癌的情况下,拍摄这些图像的系统正在从二维图像转变成三维图像。二维图像需要大约20MB的容量来存储,而三维图像则需要多达3GB的存储容量,这意味着存储这些图像所需的容量增加了150倍。不幸的是,大多数存储二维图像的数字存储系统根本无法经济有效地存储三维图像。以往的存储系统被大数据库取代才能使数据蓬勃发展。
另外,组织希望对这些图像执行的处理类型是基于机器学习的,并且比以前任何类型的图像处理计算强大得多。最重要的是,为了进行机器学习,研究人员必须汇集大量的图像进行处理才能有效。处理这些图像意味着要跨组织来移动或共享图像,这些图像需要从源头获取数据,保存在可访问的表单中(不是磁带上),聚合成大型图像库,然后用于大规模的机器学习分析。