分布式内存对象缓存系统memcached[12]把所有数据都保存在内存中，这样保存和读取的速度非常快，但是当memcached停止运行的时候，数据就不存在了。这里的键值存储不像memcached那样在内存中保存数据，而是把数据保存在硬盘上。与memcached在内存中处理数据相比，由于必然会发生对硬盘的I/O操作，所以性能上还是有差距的。但数据不会丢失是它最大的优势。这种类型的数据库特别适合于处理数组类型的数据。......
2023-10-28
分布式数据库技术：高效存储IOT数据
【摘要】：如图20.12所示，数据采集器及传感网中的传感器节点，用于采集感知信息。图20.12IOT分布网络节点这里出现了可反应设施的概念。图20.13IOT数据的边缘存储和核心存储物联网的数据可以分为边缘存储和中心存储两个层次存储，即边缘数据库和中心数据库。一般受容量的限制，边缘能存储的数据量有限。图20.14有汇聚层的体系架构需要注意的是，这里讨论的仅是初步的物联网数据库架构。
IOT数据如何存储呢？简单地存放感知数据做起来简单，一旦涉及数据修改、恢复和添加新特征，就不一定适应。例如，如果把数据按文本格式（像日志一样）存放在一个文件里，编程简单，一旦文件很大（例如，如果应用获得每30秒采样的气象数据，即温度、湿度、风力、风向、气压等，又有多个采样点），数据集就会很大。要存放这样的文件，数据又要转换成字符串。这样的数据查询起来很困难。
传感设施放在哪里？这也是一个问题。一种解决方案是使用感知成分把所有硬件放在一个盒子里。这是早期IOT的解决方案。其实，多点方式是更广泛使用的方式。这类似于传感网的思想，即使用多个分布的成分。
在分布式解决方案里，感知成分间使用网络通信协议相互通信。如图20.12所示，数据采集器及传感网中的传感器节点，用于采集感知信息。采集到的数据会被数据聚集器（aggregator）接收，在那里会进行基本处理，也会存储到本节点里的数据库（数据库服务器）。数据采集器也可能带有本地存储，目前常用SD卡存储。
图20.12 IOT分布网络节点
这里出现了可反应设施（actionable device）的概念。可反应设施也具有数据采集的功能，不同的是，还具有直接依据情景态势做出反应或接到命令后做出反应的功能。
IOT数据的边缘存储和核心存储如图20.13所示的形态。
图20.13 IOT数据的边缘存储和核心存储
物联网的数据可以分为边缘存储和中心存储两个层次存储，即边缘数据库和中心数据库。(www.chuimin.cn)
这种数据库的特点是边缘存储和中心存储相结合。简单来说，边缘数据库里存储的是本区域感知的数据和驱动本区域可反应设施针对情景态势的反应数据。根据采样频率和传感器/反应器数量，节点数据库存储的数据量会差异较大。一般受容量的限制，边缘能存储的数据量有限。问题是，中心数据库和边缘数据库的关系是什么？
从应用角度来看，光靠本地的信息并不能够判定情景态势，光靠一种、几种传感信息也无法对情景进行描述，因此，节点数据必须集成起来。节点数据库存储的是本地感知数据，节点数据库间需要相互配合。同时，边缘的存储和处理能力有限，能源供应能力也有限，所以，数据分析、复杂数据处理和全局情景态势分析需要靠中心节点来实现。节点数据库和中心数据库也需要有机集成起来。这些数据库需要一个统一的概念模式。
可以采用前面所述的松耦合形式在这些数据库上构建一个多数据库系统。但是，由于多数据库具有的松耦合特征，节点间协调能力不足，这种数据库的效率受限。因此，更为合理的做法是构建一个经典的分布式数据库。这样，分布式数据库是一个不均衡的分布式数据库。换言之，核心节点承担主要的存储和计算功能，边缘起着辅助作用，2PC的协调者角色也是由核心节点担任。
但是，由于系统中的节点太多，直接汇聚到中心系统难以实现。因此，会有一个汇聚层的体系架构加入进来，如图20.14所示。
图20.14 有汇聚层的体系架构
需要注意的是，这里讨论的仅是初步的物联网数据库架构。如前所示，为了适应应用，需要将感知数据升华为情景，保证系统能及时、准确地做出反应。情景数据库的建设是物联网应用的核心之一。
情景是不同信息的多维组合，实时动态情况中可以抽象为各种情景实例信息及其之间的关系、作用。静态结构中，这些实例能够归纳为一些情景概念，情景概念之间存在上下位、属性、各种概念间关系、方法等。
有关分布式数据库技术的文章
- 详细阅读
-
关系型数据加密和存储模型-《分布式数据库技术详细阅读
下面讨论关系型数据加密和存储模型，对每个关系：R（A 1，A 2，…表13.1使用关系emp存储关于雇员的信息emp表在服务器上映射成对应的表，如下：emp S对应属性的索引会在搜索和连接谓词中使用。表13.2存放服务器的加密关系emp S第一列etuple是与emp关系对应的加密元组的串。......
2023-10-28
-
保障数据安全：分布式数据库技术详细阅读
与数据库安全系统打交道的人员可以分为两类：数据库管理员和普通用户。DBA要对安全负责，所以他（们）要创建授权规则，定义谁可以使用哪部分数据，以及如何使用。图13.1数据库安全系统由图13.1可知，数据库安全系统里存放着授权规则，在每次数据库存取时强制满足其规则。从完整性方面考虑，数据库安全可以包含以下两方面。1）设计阶段的数据库安全在设计阶段必须关注数据库的安全性。DBA负责处理整个数据库系统里的用户账号和口令。......
2023-10-28
-
分布式数据库技术-分布式数据库技术详细阅读
Oracle公司的OPS环境比一般的（单实例）Oracle环境复杂得多。不同结构下的OPS的实施略有不同。图14.23OPS体系结构为了利用这些特性，需要专业人员合适的设计以及恰当的手工配置。下面对有些关键问题进行简单讨论，讨论中会涉及一些Oracle系统专用的术语，读者可参阅Oracle公司的相关文档。DLM与Oracle进程一起工作并相互通信。DLM相关的初始化参数在每个实例的SGA[12]中分配必要的结构以处理消息机制、封锁与实例相关的Cache管理，这样就为各种Oracle进程操纵提供了基础。......
2023-10-28
-
分布式数据库技术-数据定位详细阅读
要在并行数据库系统中查找数据，首先要确定数据由哪些处理器管理，放在哪里，这就是数据定位。因为希望在数据所在处执行程序，所以数据定位就是判断系统性能好坏的一个重要因素。有round-robin分割、哈希分割和归类分割三种基本分割方法，如图14.14所示。图14.14不同的分割模式round-robin分割是最简单的一种分割方法，它能保证均匀分配。图14.15Teradata DBC的数据分布由图14.15可知，Teradata DBC采用的策略是将数据均匀地分布到其存储设备中。......
2023-10-28
-
大数据存储技术及其医药应用详细阅读
传统的数据存储方式面对大数据的猛烈增长已不能满足需求，需要开展分布式存储的研究。数据存储系统能力的提升主要有三个方面，一是提升系统的存储容量，二是提升系统的吞吐量，三是提升系统的容错性。集群容错的基本思想是将同一份数据在集群中的不同节点中进行冗余存储，确保部分节点的故障不会影响系统整体的正常运行。......
2023-11-08
-
网络数据策略：分布式数据库技术详细阅读
图5.6以网络为中心的计算驱动力量、增长领域与示例值得注意的是，美国国防部的Net-Centric的数据策略是从用户出发考虑的。根据DoD的描述：以网络为中心是指实现一个联网环境，包括基础设施、系统、过程和个人，使之能够按照完全不同的方式实施战斗和商务活动。以网络为中心的基础是GIG。以网络为中心，通过安全互联时间或地点独立的人和系统，充分支持军事态势知识的改进和更好地访问商务信息，大大缩短了决策周期。......
2023-10-28
-
分布式数据库本地化-分布式数据库技术详细阅读
查询优化的本地化分层聚焦于将查询转换成本地数据。一个全局关系可以通过应用重构规则来重构，从而导出一个关系代数程序，其操作数是数据片，这个程序称为本地化程序。将分布查询分配到节点上的自然办法是生成查询，让每个全局关系使用本地化程序来代替。这可以看成是在一棵分布查询的算符树上将叶子用与本地化程序对应的子树来替代。数据水平分片关系的连接也可以简化。......
2023-10-28
相关推荐