浅谈大数据的发展:问题和挑战(一)

OFweek物联网 中字

   来自于数据成本控制方面的挑战:对于那些正在使用大数据环境的企业来说,成本控制是关键的问题。想控制成本,就意味着我们要让每一台设备都实现更高的“效率”,同时还要减少那些昂贵的部件。重复数据删除等技术已经进入到主存储市场,而且还可以处理更多的数据类型,这都可以为大数据存储应用带来更多的价值,提升存储效率。在数据量不断增长的环境中,通过减少后端存储的消耗,哪怕只是降低几个百分点。当今,数据中心使用的传统引导驱动器不仅故障率高,而且具有较高的维修和更换成本。如果用它替换数据中心的独立服务器引导驱动器,则能将可靠性提升多达100倍。并且对主机系统是透明的,能为每一个附加服务器提供唯一的引导镜像,可简化系统管理,提升可靠性,并且节电率高达60%,真正做到了节省成本的问题。

   来自于数据分析方面的挑战:数据分析是大数据处理流程的核心,因为大数据的价值就产生于分析的过程,但是它同样带来了很大的挑战。首先,数据量大带来更大价值的同时也带来了更多的数据噪音,在进行数据清洗等预处理工作时必须更加谨慎,若清洗的粒度过细,很容易将有用的信息过滤掉,而清洗的粒度过粗,又无法达到理想的清洗效果,因此在质与量之间需要进行仔细的考量和权衡,同时也对机器硬件和算法都是严峻的考验。其次,传统的数据仓库系统对处理时间的要求并不高,而在很多大数据应用场的要求。

  大数据的意义是由人类日益普及的网络行为所伴生的。从海量数据中“提纯”出有用的信息,是一项非常庞大的工程,也是当下大数据时代面临的重大挑战。在经历了近几年来各界对大数据的批判、质疑、讨论、炒作之后,大数据的发展依旧任重道远。浅谈大数据的发展:应用与掘金(二)

声明: 本网站所刊载信息,不代表OFweek观点。刊用本站稿件,务经书面授权。未经授权禁止转载、摘编、复制、翻译及建立镜像,违者将依法追究法律责任。
侵权投诉

下载OFweek,一手掌握高科技全行业资讯

还不是OFweek会员,马上注册
打开app,查看更多精彩资讯 >
  • 长按识别二维码
  • 进入OFweek阅读全文
长按图片进行保存