影视用户画像系统的建立需要依赖于具体的应用场景以及所拥有的数据。用户画像系统架构如图9-6所示。基于Hadoop集群的大数据分析平台对用户行为日志经过清洗、规范化、分析与处理等步骤为用户标识相应权重的标签,实现为用户“画像”的目的。数据可视化模块将大数据平台中分析完成的结果进行展示,直观地看到用户的人画像,为决策起到辅助作用。......
2023-06-28
对于IT而言,容灾系统就是为计算机信息系统提供的一个能应付各种灾难的环境。当计算机系统在遭受如火灾、水灾、地震、战争等不可抗拒的灾难和意外时,容灾系统将保证用户数据的安全性(数据容灾)。甚至,一个更加完善的容灾系统还能提供不间断的应用服务(应用容灾)。可以说,容灾系统是存储应用的最高境界。
(一)数据容灾系统
一个容灾备份系统,需要考虑多方面的因素,如备份和恢复数据量大小、灾难发生时数据的丢失量、应用数据中心和备援数据中心之间的地理距离和数据传输方式、灾难发生时所要求的恢复速度和恢复层次、备援中心的管理及投入资金等。根据这些因素和不同的应用场合,容灾备份中心自动异地远程恢复被定义有7层,其中包含以下两个技术指标。
(1)RPO(Recovery Point Objective):即数据恢复点目标,主要指的是应用系统所能容忍的数据丢失量。
(2)RTO(Recovery Time Objective):即恢复时间目标,主要指的是所能容忍的应用停止服务的最短时间,也就是从灾难发生到应用系统恢复服务功能所需要的最短时间周期。
RPO描述的是数据丢失指标,而RTO描述的是服务丢失指标,二者没有必然的关联性。但是,RPO的增多会选成RTO的延长,将造成系统可用度的降低。实际中可根据RPO和RTO的要求规划建设容灾备份系统。
一个数据灾备系统的数据备份和恢复质量,主要取决于下列因素。
(1)数据传送模式:可选择的数据传送模式有网络传输、人工运输等,对于网络传输,可选择租用电信部门的“裸光纤”的方式来连接本地和异地的网络存储设备,实现网上数据传输。尽管人工运输成本低,数据灾备质量也比较低。
(2)数据备份模式:可选择的备份模式有实时备份、定时备份等,实时备份是指通过网络传输模式将本地更新的数据实时传送到异地的存储设备上。而定时备份是指采用网络或人工运输模式将本地更新的数据定时传送到异地的存储设备上。两者相比,实时备份模式的数据灾备质量高。
(3)数据更新模式:在实时备份模式中,又进一步分为同步更新和异步更新等数据更新模式。同步更新是指在执行数据写入操作时,系统必须等到本地和异地的数据更新都完成后,才向用户发出写入成功的应答,由于本地和异地存在一定的时间差,因此在数据更新时用户等待的时间比较长。异步更新是指在执行数据写入操作时,只要本地数据更新完成后,便可向用户发出写入成功的应答,而不必等到异地数据更新完成,虽然响应速度比较快,但存在着异地数据更新可能失效的问题,需要采取一定的措施来弥补。
容灾系统包括数据容灾和应用容灾两部分。数据容灾可保证用户数据的完整性、可靠性和一致性,但不能保证服务不被中断。应用容灾是在数据容灾的基础上,在异地建立一套完整的与本地生产系统相当的备份应用系统,在灾难情况下,远程系统迅速接管业务运行,提供不间断的应用服务,让客户的服务请求能够继续。可以说,数据容灾是系统能够正常工作的保障;而应用容灾则是容灾系统建设的目标,它是建立在可靠的数据容灾基础上,通过应用系统、网络系统等各种资源之间的良好协调来实现的。
根据系统规模大小以及灾备质量,数据灾备中心大致可分成企业级、城市级、区域级和国家级。
下面是一个企业级数据灾备系统的实例,参见图4-2。
图4-2 企业级数据灾备系统
(1)系统服务容错:本地通过两台高性能服务器实现双机热备系统,如果一台服务器发生故障,则另一台服务器会接管所有的业务,保证了业务连续性。
(2)本地同步数据备份:本地通过FC光纤交换机和两台磁盘阵列实现同步数据备份(亦称数据镜像)功能。当生产磁盘阵列发生故障时,将自动切换到镜像磁盘阵列,确保了生产数据的高可靠性以及业务系统的高可用性。
(3)异地异步数据备份:通过两条光纤链路(裸光纤)将本地FC光纤交换机和异地FC光纤交换机连接起来,实现异地异步数据备份和数据灾备功能。当本地存储系统被破坏时,可以利用异地存储的数据备份来恢复系统和数据。(www.chuimin.cn)
从广义上讲,任何提高系统可用性的努力都可称为容灾。但是现在人们谈及容灾往往只是针对本地容灾而言的。但对企业来说,仅有本地容灾是远远不够的,更多的应是异地容灾。因此,一套完整的容灾方案应该包括本地容灾系统和异地容灾系统。
(二)数据容灾技术
1.远程镜像技术
镜像技术是在主数据中心和备援中心之间的数据备份时用到。镜像是在两个或多个磁盘或磁盘子系统上产生同一个数据的镜像视图的信息存储过程,一个称为主镜像系统,另一个称为从镜像系统。按主从镜像存储系统所处的位置可分为本地镜像和远程镜像。远程镜像又叫远程复制,是容灾备份的核心技术,同时也是保持远程数据同步和实现灾难恢复的基础。远程镜像按请求镜像的主机是否需要远程镜像站点的确认信息,又可分为同步远程镜像和异步远程镜像。
同步远程镜像(同步复制技术)是指通过远程镜像软件,将本地数据以完全同步的方式复制到异地,每一个本地的I/O事务均需等待远程复制的完成确认信息,方可予以释放。同步镜像使远程复制总能与本地机要求复制的内容相匹配。当主站点出现故障时,用户的应用程序切换到备份的替代站点后,被镜像的远程副本可以保证业务继续执行而没有数据的丢失。但同步远程镜像系统存在往返传输造成延时较长的缺点,因此只限于在相对较近的距离间应用。
异步远程镜像保证在更新远程存储视图前完成向本地存储系统的操作,而由本地存储系统提供给请求镜像主机的操作完成确认信息。远程的数据复制是以后台同步的方式进行的,这使本地系统性能受到的影响很小,传输距离长,对网络带宽要求小。但是,远程的从属存储子系统的写没有得到确认,当某种因素造成数据传输失败,可能出现数据一致性问题。为了解决这个问题,目前大多采用延迟复制的技术,即在确保本地数据完好无损后进行远程数据更新。
2.SAN技术
存储区域网络(Storage Area Network,SAN),其位于服务器后端,将各种存储设备集中起来形成一个专用存储网络,便于数据的集中管理。SAN的概念是在1998年首次提出的,它是一种可使服务器与诸如大磁盘阵列或备份磁带库等存储设备之间进行点到点连接通信的存储网络系统,它通过一个单独的、专用的网络,把存储设备和服务器连在一起。由于允许任何服务器连接到任何存储阵列,因此不管数据置放在哪里,服务器都可直接存取所需的数据。SAN中的各种设备在地域上是可以分散的,图4-3为SAN示意图。
图4-3 SAN示意图
例如,在一个大型的网络存储环境中,有多个服务器和多个RAID磁盘阵列、磁带机、JBOD磁盘等存储设备,可以采用以FC交换机为中心的混合式SAN来连接这些设备。服务器和RAID磁盘阵列可直接连接到FC交换机上,JBOD采用FC-AL环连接,磁带机则通过FC网桥连接到FC交换机上。其中FC-AL环可以直接连接到FC交换机上,也可以通过FC集线器再连接到FC交换机上,每个FC-AL环可连接126个设备,并共享lGb/s带宽。这种混合式SAN结构可以提供失效隔离、多级服务、多播传输以及可管理性等优良的网络性能,并且可以在可用性和系统价格之间找到一个最佳平衡点。
3.NAS技术
NAS(Network Attached Storage,网络附加存储)使用了传统以太网和IP协议,当进行文件共享时,则利用NFS和CIFS(Common Internet File System)沟通NT和UNLX系统。由于NFS和CIFS都是基于操作系统的文件共享协议,所以NAS的性能特点是进行小文件级的共享存取。
NAS存储备份系统比SAN简单,只需要将NAS设备通过网卡接入现有的LAN,而磁带库则通过备份服务器也接入LAN。这里通过LAN备份NAS设备和其他服务器的数据部署非常简单和快捷,不仅提高了现有网络的使用率,保护了用户的投资,也降低了系统管理员的维护难度。一般来说,NAS解决方案是低成本、易安装的点式方案,适用于对于数据量相对较小,对数据读取速度要求不是很苛刻的企业存储。
4.快照技术
远程镜像技术往往同快照技术结合起来实现远程备份,即通过镜像把数据备份到远程存储系统中,再用快照技术把远程存储系统中的信息备份到远程的磁带库、光盘库中。
快照是通过软件对要备份的磁盘子系统的数据快速扫描,建立一个要备份数据的快照逻辑单元号(LUN)和快照Cache。在快速扫描时,把备份过程中即将要修改的数据块同时快速复制到快照Cache中。快照LUN是一组指针,它指向快照Cache和磁盘子系统中不变的数据块(在备份过程中)。在正常业务进行的同时,利用快照LUN实现对原数据的一个完全备份。它可使用户在正常业务不受影响的情况下,实时提取当前在线业务数据。其“备份窗口”接近于零,可大大增加系统业务的连续性,为实现系统真正的7d×24h运转提供了保证。
有关计算机网络与信息安全的文章
影视用户画像系统的建立需要依赖于具体的应用场景以及所拥有的数据。用户画像系统架构如图9-6所示。基于Hadoop集群的大数据分析平台对用户行为日志经过清洗、规范化、分析与处理等步骤为用户标识相应权重的标签,实现为用户“画像”的目的。数据可视化模块将大数据平台中分析完成的结果进行展示,直观地看到用户的人画像,为决策起到辅助作用。......
2023-06-28
数据库访问类型可分为Application开发人员、DBA维护相关人员等2-Tier层次的不定型用户和WAS或连接Application Server后使用数据的3-Tier层次的定型用户。数据库安全的最优先监视对象是非定型用户,可最近需要追踪定型用户的客户也在不断增加,由此出现的技术就是3-Tier Tracking技术,如图6-12所示。图6-123-Tier用户追踪需要将3-Tier Tracking分为两大类来看。......
2023-11-16
云中缺少强身份认证机制将导致机密性问题。运维人员不仅能访问隐私数据,而且也能搜集谁访问过这些信息的元数据,这也会导致数据机密性问题。然而,这会使黑客掌握API以及云结构信息,给数据机密性带来安全问题。机密性是云平台最大的安全问题,也是目前研究最多的云安全问题。加密技术、授权和访问控制、身份认证机制等能保证数据机密性。......
2023-11-18
IaaS层数据的机密性、完整性和可用性三个方面是用户对于存储数据关注的核心安全问题,也是云存储安全技术的研究重点。比如SalesForce采用SSL 3.0和TLS 1.0保证数据的传输安全,SSL和TLS在传输层对数据进行加密,防止数据被截取和窃听。全同态加密机制可使用户的数据在其整个生命周期都处于加密状态,减少了数据泄露的概率。......
2023-11-18
为察觉外部安全威胁,在60余个业务中应用了DB快速检查系统,内部人员追加使用了门禁系统。此次下一代DB安全系统构建过程中,掌握公共账户使用现状将成为可能。即使职员没有DB方面的知识,在这种环境下有恶意的DB攻击、信息泄露危险,需要通过DB安全系统进行更改,本案例中将其果断更改。......
2023-11-16
网络应用程序的安全或大数据集群仍是安全保护的重要对象,应优先考虑以下几种重要安全设置。对于保护大数据的安全,从大企业到小的新生企业,数以千计的企业在大数据项目上花费精力。重要的是,需要对有太多问题、太多关注以及太多混乱的大数据安全进行公开问题处理。大数据不是特定技术,而是属性和功能的结合。......
2023-11-16
1)数据可用性的必要性可用性即组织提供必需数据的能力。不仅评价业务执行过程中需要的结构化数据条件,也评价随时可能产生的非结构化数据条件的应用体系。2)数据可用性预期效果通过可用性管理可系统应对用户的要求。3)数据可用性诊断项目可用性质量标准与要求管理(功能性)、数据结构管理、数据应用管理等流程相关。定义和授权要求后,在数据结构中反映并将其结果通过应用监控评测用户的满意度。......
2023-11-16
与数据库安全系统打交道的人员可以分为两类:数据库管理员和普通用户。DBA要对安全负责,所以他(们)要创建授权规则,定义谁可以使用哪部分数据,以及如何使用。图13.1数据库安全系统由图13.1可知,数据库安全系统里存放着授权规则,在每次数据库存取时强制满足其规则。从完整性方面考虑,数据库安全可以包含以下两方面。1)设计阶段的数据库安全在设计阶段必须关注数据库的安全性。DBA负责处理整个数据库系统里的用户账号和口令。......
2023-10-28
相关推荐