1.准备工作
HBase集群对安装和运行环境的基本要求如下：
安装JDK；
建立ssh免费访问；
提供DNS服务器；
安装NTP服务；
ulimit配置；
支持GNU Bash Shell；
安装Hadoop；
安装ZooKeeper。
2.单节点部署
单节点部署步骤如下：
选定安装目录，解压HBase安装包；
在HBase配置文件conf/hbase-env.sh中配置JAVA_HOME；
在HBase配置文件conf/hbase-site.xml中配置HBase和ZooKeeper用于写数据的目录；
至此，HBase单节点部署完毕，可执行脚本bin/start-hbase.sh启动HBase；
可以访问网址http：//〈host〉：16010来查看HBase状态。
3.伪分布式部署
将HBase单节点部署改为伪分布式部署并改用HDFS存储数据的步骤如下：
停止HBase；
配置文件conf/hbase-site.xml中增加hbase.cluster.distributed配置项并修改hbase.rootdir的配置值为HDFS目录；
启动HBase；(www.chuimin.cn)
检查HBase目录；
启动和停止备用HMaster；
启动和停止更多HRegionServers。
4.集群部署
HBase集群部署架构示例如表6-5所示。
表6-5 HBase集群部署架构示例
HBase集群部署的步骤如下：
建立ssh免密码访问；
部署master；
安装HBase；
配置HRegionServer；
配置备用HMaster；
配置ZooKeeper。
部署slave1、slave2、slave3；
启动、测试HBase集群；
在每个节点上执行jps命令确保都没有启动HBase进程；
在master上执行bin/start-hbase.sh脚本来启动集群；
检查每个节点上的进程是否启动；
检查Web界面；
模拟故障测试。
有关大数据挖掘技术及其在医药领域的应用的文章
打开VMware Workstation→点击文件→新建虚拟机。图9-2选择典型（推荐）选择“安装程序光盘映像文件”，选择指定的CentOS系统的.iso文件，点击“下一步〉”。图9-10在CentOS 6中安装VMware Tools重启CentOs 6。图9-11CentOS 6重启输入密码zkpk，登录进系统。图9-12CentOS 6安装完成下面克隆HadoopSlave。图9-14设置克隆虚拟机选项创建完整克隆。图9-16命名虚拟机图9-17正在准备克隆虚拟机图9-18正在克隆虚拟机点击“关闭”按钮后，发现“HadoopSlave”虚拟机已经在左侧的列表栏中。......
2023-11-08
hbase-env.sh：设置HBase运行所需的工作环境。log4j.properties：HBase所使用的日志模块log4j的配置文件。上述七个HBase配置文件的路径和内容在每个节点上都必须一致。hbase.tmp.dir：HBase节点在本地文件系统中的临时目录，默认值为$｛java.io.tmpdir｝/hbase-$｛user.name｝。hbase.master.wait.on.regionservers.mintostart：HBase集群启动时HMaster在有多少个HRegionServer启动后开始分配任务，默认值为1。hbase.balancer.period：HMaster运行HRegion均衡器的周期，单位是毫秒，默认值为300000。hbase.client.write.buffer：HBase服务器端和客户端写入数据库缓冲区的大小，默认值为2097152，即2M。......
2023-11-08
在HBase Shell提示符下执行help命令可列出所有命令列表。命名空间类命令命名空间是对表的逻辑分组，HBase可以针对命名空间分配资源限额，指定HRegionServer子集，进行安全管理等。大多数配置更改后必须重新启动HBase集群才能生效，与HRegion压缩、拆分相关的参数可以动态更改，更改后在HBase Shell中执行update_all_config命令即可生效。......
2023-11-08
MapReduce编程：编写WordCount类，实现Mapper接口，实现Reducer接口，配置作业，代码测试，打包发布。其中，key为该行在文本中的偏移量，value值为这一行的内容。Map处理将分割好的〈key，value〉对作为map（）方法的输入，然后由用户定义的map（）方法进行Map处理，生成新的〈key，value〉对。Reduce处理首先，Reduce端接收到来自Map端的数据后，对数据进行排序，如图5-27Reduce端排序结果所示。......
2023-11-08
表6-2NoSQL的类型1.键值存储Key-Value键值数据模型是NoSQL中最基本的、最重要的数据存储模型。列存储可以将数据存储在列族中，存储在一个列族中的数据通常是经常被一起查询的相关数据。列存储的数据模型具有支持不完整的关系数据模型，适合规模巨大的海量数据，支持分布式并发数据处理等特点。......
2023-11-08
图9-37解压Hadoop的jar文件2.配置Hadoop-env.sh使用gedit打开Hadoop-env.sh，配置JDK的路径。......
2023-11-08
关于分类和回归模型的各种评估方法，一种是处理分类任务的模型，一种是预测回归的模型，这两种模型的评估方法也不完全一致，下面就来分别介绍两种类型模型的各种评估手段。AUC可以说是用单个数字总结模型性能的最好方法，其实就是ROC曲线下方的面积大小。平均绝对误差可以避免误差相互抵消的问题，因而可以准确反映实际预测误差的大小。MAE可以表示预测与实际结果的接近程度。以上即为两种模型的常用评估方法。......
2023-11-08
数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘的替换词，包括数据库中的知识挖掘、知识提炼、数据/模式分析、数据考古、数据捕捞、信息收获，等等。数据挖掘方面更多的国际会议，如PAKDD，PKDD，SIAM-Data Mining，ICDM，DaWaK，SPIE-DM等。......
2023-11-08
相关推荐