MapReduce编程:编写WordCount类,实现Mapper接口,实现Reducer接口,配置作业,代码测试,打包发布。其中,key为该行在文本中的偏移量,value值为这一行的内容。Map处理将分割好的〈key,value〉对作为map()方法的输入,然后由用户定义的map()方法进行Map处理,生成新的〈key,value〉对。Reduce处理首先,Reduce端接收到来自Map端的数据后,对数据进行排序,如图5-27Reduce端排序结果所示。......
2023-11-08
“大数据”作为新兴技术,以强势姿态介入相对传统的文化产业。传媒业首当其冲,于是一股“大数据”的浪潮给本已处于震荡中的传媒行业又带来一次不小的冲击,但同时也带来一份希望。随着社交媒体的兴起以及移动端的普及,公民新闻渐盛,新闻日趋呈现“碎片化”“扁平化”,打破了传统新闻媒体对新闻生产及传播的垄断地位,空前稀释了传统媒体的影响力。在温州动车事故中,以微博为代表的社交媒体发挥了巨大的威力,不仅现场直播了整个事故的全过程,消息发布甚至比官方媒体还要早、还要细致,最大限度地还原了事故的全貌,帮助相关部门及时开展救援工作。在这种新媒体渐盛、传统媒体式微的形势下,社交媒体颠覆了传统新闻的生产模式及传播格局,引发传统媒体的生存危机。
然而,“大数据”却开创了一种全新的信息生产和传播方式,信息的内核由消息本身向数据方面转移,这就要求传媒从业者以全媒介思维和手段来进行信息传播。而“大数据”的门槛也不似社交媒体那般“亲民”,数据的搜集、处理,继而整合为大数据库,需要强大的技术支撑和雄厚的资本投入,这些都是普通网民甚至是自媒体团队所无法企及的,而传统媒体却可凭借掌握的数据资源来发展数据驱动新闻,保持其在新闻品质和专业水准上的领先地位。同时,针对当下社交媒体泛滥、信息过剩,受众寻求高品质、确定性信息的现状,一些传统媒体如《纽约时报》、《卫报》等老牌报纸利用大数据挖掘技术,推动新闻向“利基化”、“纵深化”发展,由此看来,“大数据”将成为传统媒体对抗社交媒体,并推动业态升级的重要推动力。
此外,“大数据”也成功应用到电视节目生产中,其中最成功的当属那部风靡世界的《纸牌屋》了,这部剧也让“大数据”开始进入公众视野。强大的制作团队以及豪华的演员阵容,固然是这部剧成功的重要因素,但更值得一提的是它的宣传噱头:《纸牌屋》是一部真正意义上“计算”出来的剧。它的制作方Netflix从提供在线影片租赁,成功转型到提供流媒体播放器服务。Netflix订阅用户可以观看其平台上的任何资源。于是,平均每天在Netflix.com上就会产生3 000多万个行为,比如用户观看节目时的暂停、回放、快进、回放等。Netflix用户每个季度总共会看大约40亿小时的节目,平均每天还会产生400万条评论、300万次搜索请求(询问剧集播放时间、演员阵容、导演、编剧等),以及不可计数的用户好友推荐。这些每日持续生成的细碎但巨量的个人记录,通过“大数据”手段被整合成庞大的用户数据库,为节目内容的生产提供强有力的决策支持。(www.chuimin.cn)
对此,一些国外媒体已经进行了一些成功的尝试。英国广播公司BBC长期关注大数据技术及发展动向,把以受众为基础的实时数据分析应用到电视生产的各个环节,包括节目定位、内容生产及市场营销、推广等。大数据技术已经广泛应用到一些真人秀、访谈类节目中。BBC整合来自社交媒体的巨量数据信息并进行实时分析,在节目现场直播中根据观众在社交媒体上的反馈来决定节目发展的动向。对于节目中观众反响强烈的部分,会进行相应调整。比如对观众热议的某些话题和喜欢的部分,会适度延长该部分的播出时长;反之,如果观众反馈冷淡,则会适度缩短。
除了综艺等市场化程度较高的节目类型,大数据技术也渗透到新闻节目生产的流程中。印度有一档反映社会热点问题的新闻访谈节目《Satyam ev Jayate》(真相访谈),该节目在播出第一季就反响火爆,不仅吸引了4亿多本土观众,更有约合12亿观众通过视频网站、YouTube、Facebook、Twitter以及移动终端观看该节目,超过800万的观众通过Facebook、官网留言、邮件、短信、电话等方式来参与节目互动,每周新增评论超过10万个。栏目组借助自动化分析系统Persistent System及数据分析团队,对接收的海量信息进行大数据挖掘分析,对公众关注的话题进行热度排序。同时,在节目直播的时候,节目组会在广告时间查看Twitter上观众的即时评论,并根据这些反馈对播出内容做出实时的调整,以迎合观众的需求、偏好,从而收获更多的受众互动。这档节目运用数据手段来进行选题策划、调整节目进程及走向。凭借大数据分析报告的强大说服力,该节目甚至影响到国家政策、法律的制定及修改。
有关中国电视节目的形态演变的文章
MapReduce编程:编写WordCount类,实现Mapper接口,实现Reducer接口,配置作业,代码测试,打包发布。其中,key为该行在文本中的偏移量,value值为这一行的内容。Map处理将分割好的〈key,value〉对作为map()方法的输入,然后由用户定义的map()方法进行Map处理,生成新的〈key,value〉对。Reduce处理首先,Reduce端接收到来自Map端的数据后,对数据进行排序,如图5-27Reduce端排序结果所示。......
2023-11-08
OPC在工业控制领域得到了广泛的应用,在集散控制系统、现场总线控制系统以及楼宇自动化系统中,利用OPC可以实现远程监控管理。这种模式的OPC服务器相当于数据采集与控制通用接口,方便实现不同厂商设备的集成。图2-37 OPC服务器在监控系统中的应用......
2023-11-22
在HBase Shell提示符下执行help命令可列出所有命令列表。命名空间类命令命名空间是对表的逻辑分组,HBase可以针对命名空间分配资源限额,指定HRegionServer子集,进行安全管理等。大多数配置更改后必须重新启动HBase集群才能生效,与HRegion压缩、拆分相关的参数可以动态更改,更改后在HBase Shell中执行update_all_config命令即可生效。......
2023-11-08
数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘的替换词,包括数据库中的知识挖掘、知识提炼、数据/模式分析、数据考古、数据捕捞、信息收获,等等。数据挖掘方面更多的国际会议,如PAKDD,PKDD,SIAM-Data Mining,ICDM,DaWaK,SPIE-DM等。......
2023-11-08
打开VMware Workstation→点击文件→新建虚拟机。图9-2选择典型(推荐)选择“安装程序光盘映像文件”,选择指定的CentOS系统的.iso文件,点击“下一步〉”。图9-10在CentOS 6中安装VMware Tools重启CentOs 6。图9-11CentOS 6重启输入密码zkpk,登录进系统。图9-12CentOS 6安装完成下面克隆HadoopSlave。图9-14设置克隆虚拟机选项创建完整克隆。图9-16命名虚拟机图9-17正在准备克隆虚拟机图9-18正在克隆虚拟机点击“关闭”按钮后,发现“HadoopSlave”虚拟机已经在左侧的列表栏中。......
2023-11-08
大数据目前还没有公认的定义。麦肯锡研究院对大数据的定义:所涉及的数据集规模已经超过了传统数据库软件获取、存储、管理和分析的能力。我们正处于大数据时代的边缘,85%的数据属于广泛存在于社交网络、物联网、电子商务等之中的非结构化数据。如今的数据类型早已不是单一的文本形式,还包括订单、日志、音频等各种形式,从而对人们的大数据处理能力提出了更高的要求。......
2023-11-08
数据挖掘的功能是指数据挖掘通过预测未来趋势及行为,做出前瞻的、基于知识的决策。数据挖掘的任务主要是关联分析、聚类分析、分类、预测、时间序列模式和偏差分析等。关联分析的目的是找出数据库中隐藏的关联网。关联分析发现关联规则,这些规则展示属性值频繁地在给定数据集中一起出现的条件。聚类分析可以建立宏观的概念,发现数据的分布模式以及可能的数据属性之间的相互关系。......
2023-11-08
数据库由数据库管理系统统一管理,数据的插入、修改和检索均要通过数据库管理系统进行。软件主要包括操作系统、各种宿主语言、实用程序以及数据库管理系统。数据库管理系统是一种系统软件,它的主要功能是维护数据库并有效地访问数据库中任意部分数据。对数据库的维护包括保持数据的完整性、一致性和安全性。数据仓库的多维特征满足以多维数据为核心的多维数据分析。......
2023-11-08
相关推荐