关系数据库系统的挑战：难以管理所有类型多样的数据；关系模型不容易组织高维时空数据、大规模的图数据等；难以并行化实现大规模数据的高速处理；高并发读写操作难以实现；难以满足对海量数据高效率存储和访问的需求；大规模节点的并行操作很困难；难以满足对数据库高可扩展性和高可用性的需求。
大数据管理系统主要分为三类：第一，分布式文件系统，GFS、HDFS。第二，NoSQL数据库、键值（Key-value）存储数据库，Dynamo；列式存储数据库，BigTable、HBase；文档存储数据库，MongoDB；图形存储数据库（Graph-Oriented），Neo4J。第三，NewSQL数据库，VoltDB、RethinkDB、ScaleDB。
表6-2 NoSQL的类型
1.键值存储
Key-Value键值数据模型是NoSQL中最基本的、最重要的数据存储模型。基本原理是在Key和Value之间建立一个映射关系。Key-Value数据模型和传统关系数据模型相比有一个根本的区别，就是在Key-Value数据模型中没有模式的概念。在Key-Value模型中，只要制定好Key与Value之间的映射，当遇到一个Key值时，就可以根据映射关系找到与之对应的Value，其中Value的类型和取值范围等属性都是任意的。
2.列存储(www.chuimin.cn)
列存储是按列对数据进行存储的，在对数据进行查询的过程中非常有利，查询效率高。列存储可以将数据存储在列族中，存储在一个列族中的数据通常是经常被一起查询的相关数据。列存储的数据模型具有支持不完整的关系数据模型，适合规模巨大的海量数据，支持分布式并发数据处理等特点。总的来讲，列存储数据库的模式灵活、修改方便、可用性高、可扩展性强。
3.面向文档存储
面向文档存储是IBM最早提出的，是一种专门用来存储管理文档的数据库模型，是由一系列自包含的文档组成的。这意味着所有数据都存储在文档中，而不是表。在面向文档数据库中，文档被看作是数据处理的基本单位。文档可以很长也可以很短，可以复杂也可以简单，不必受到结构的约束。灵活、数据可共享是面向文档存储的特点。
4.图形存储
图形存储是将数据以图形的方式进行存储。在构造的图形中，实体被表示为结点，实体与实体之间的关系则被表示为边，对数据的查询就是对图的遍历。图形存储最突出的特点就是研究实体与实体间的关系，所以图形存储中有丰富的关系表示。
有关大数据挖掘技术及其在医药领域的应用的文章
打开VMware Workstation→点击文件→新建虚拟机。图9-2选择典型（推荐）选择“安装程序光盘映像文件”，选择指定的CentOS系统的.iso文件，点击“下一步〉”。图9-10在CentOS 6中安装VMware Tools重启CentOs 6。图9-11CentOS 6重启输入密码zkpk，登录进系统。图9-12CentOS 6安装完成下面克隆HadoopSlave。图9-14设置克隆虚拟机选项创建完整克隆。图9-16命名虚拟机图9-17正在准备克隆虚拟机图9-18正在克隆虚拟机点击“关闭”按钮后，发现“HadoopSlave”虚拟机已经在左侧的列表栏中。......
2023-11-08
在HBase Shell提示符下执行help命令可列出所有命令列表。命名空间类命令命名空间是对表的逻辑分组，HBase可以针对命名空间分配资源限额，指定HRegionServer子集，进行安全管理等。大多数配置更改后必须重新启动HBase集群才能生效，与HRegion压缩、拆分相关的参数可以动态更改，更改后在HBase Shell中执行update_all_config命令即可生效。......
2023-11-08
MapReduce编程：编写WordCount类，实现Mapper接口，实现Reducer接口，配置作业，代码测试，打包发布。其中，key为该行在文本中的偏移量，value值为这一行的内容。Map处理将分割好的〈key，value〉对作为map（）方法的输入，然后由用户定义的map（）方法进行Map处理，生成新的〈key，value〉对。Reduce处理首先，Reduce端接收到来自Map端的数据后，对数据进行排序，如图5-27Reduce端排序结果所示。......
2023-11-08
图9-37解压Hadoop的jar文件2.配置Hadoop-env.sh使用gedit打开Hadoop-env.sh，配置JDK的路径。......
2023-11-08
关于分类和回归模型的各种评估方法，一种是处理分类任务的模型，一种是预测回归的模型，这两种模型的评估方法也不完全一致，下面就来分别介绍两种类型模型的各种评估手段。AUC可以说是用单个数字总结模型性能的最好方法，其实就是ROC曲线下方的面积大小。平均绝对误差可以避免误差相互抵消的问题，因而可以准确反映实际预测误差的大小。MAE可以表示预测与实际结果的接近程度。以上即为两种模型的常用评估方法。......
2023-11-08
数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘的替换词，包括数据库中的知识挖掘、知识提炼、数据/模式分析、数据考古、数据捕捞、信息收获，等等。数据挖掘方面更多的国际会议，如PAKDD，PKDD，SIAM-Data Mining，ICDM，DaWaK，SPIE-DM等。......
2023-11-08
格式化命令如下，该操作需要在HadoopMaster节点上执行。看到如图9-46所示的打印信息表示格式化成功，INFO util.ExitUtil：Exiting with status 1，INFO namenode.NameNode：SHUTDOWN_MSG；如果出现Exception/Error，则表示出问题。图9-48Web UI查看集群是否成功启动检查Yarn是否正常。在HadoopMaster上启动Firefox浏览器，在浏览器地址栏中输入http：//master：18088/，页面如图9-49所示。进入Hadoop安装主目录，执行下面的命令：完成后，会看到如下的执行结果，输出：Estimated value ofPi is 3.20000000000000000000，集群正常启动。配置Hadoop时，路径和实际Hadoop安装路径必须一致。......
2023-11-08
大数据存储方式：分布式系统。哈希方式是最常见的数据分布方式，其方法是按照数据的某一特征计算哈希值，并将哈希值与机器建立映射关系，从而将不同哈希值的数据分布到不同的机器上。然而NoSQL数据库则可省去这些麻烦，确实是方便快捷。另外，利用面向列的数据库的优势，把它作为批处理程序的存储器来对大量数据进行更新也是非常有用的。但是，由于面向列的数据库跟现行数据库存储的思维方式有很大不同，应用起来是非常困难的。......
2023-11-08
相关推荐