首页 理论教育挑战在于数据分类、储存与管理

挑战在于数据分类、储存与管理

【摘要】:我们并非仅是把收集过来的数据放到硬盘里面那么简单,更重要的是对数据进行分类、存放及管理。面对海量数据,如何有效地储存,最大限度地发挥数据价值,成了我们面临的问题。要知道,通过技术手段实现数据云端储存,这只是基础。但是其中面临的难题是,每个人的生活数据、医疗数据和基因数据,格式与标准都不同。所以,如何打通原有数据的格式与标准,是大数据储存未来最大的挑战。

除了数据收集,数据储存同样重要。我们并非仅是把收集过来的数据放到硬盘里面那么简单,更重要的是对数据进行分类、存放及管理。不然就如同一个杂乱的储藏室——放东西进去的时候很轻松,但是要知道哪些东西有用,或者拿出东西的时候就不那么简单了,甚至可能再也找不到。

面对海量数据,如何有效地储存,最大限度地发挥数据价值,成了我们面临的问题。比如,如何让数据不丢失,如何保护数据的安全,如何让数据准确和稳定以及如何更好地运用数据。

要知道,通过技术手段实现数据云端储存,这只是基础。大数据储存真正面临的难题是,如何用标准化的数据格式来储存数据实现共享?

在过去,每个公司都有自己的数据格式与标准,它们只在自己的领域里使用自己的数据。但是,到了大数据时代,我们希望通过数据之间的相关性去寻找事物之间的关联。这就需要各个机构之间打通数据格式与标准。

举个例子,我们通过可穿戴设备,将每一个用户的生活饮食习惯收集起来,然后再和他们的医疗数据甚至是基因数据相结合,就能够预测出不同个体在不同环境下的潜在疾病风险,进而及时地建议他们改进生活饮食习惯,提前预防。

这是一个非常好的愿景。但是其中面临的难题是,每个人的生活数据、医疗数据和基因数据,格式与标准都不同。不是在统一格式与标准下存储的数据,就没有办法通过统一方式去分析。所以,如何打通原有数据的格式与标准,是大数据储存未来最大的挑战。