应用统计学：拓宽视野，连接大数据与生活

随着科学技术的不断发展和进步，尤其是信息化社会的迅猛发展，统计学的发展和应用越来越广泛。当代著名的统计学家C.R.Rao在《统计与真理》中提到，在终极的分析中，一切知识都是历史；在抽象的意义下，一切科学都是数学；在理性的世界里，所有的判断都是统计学。我们来一起看看统计大数据与我们生活有哪些联系吧。

第一篇　电子商务与大数据

大数据已经无处不在，大数据给人们带来了商机，涉足大数据的商业如雨后春笋般出现。互联网购物正逐渐成为人们购物的主要方式，电子商务的繁荣带动了相关产业的不断升级。为了迎合大数据时代的特征，也为了更好地把握住大数据时代的种种商机，各电子商务企业纷纷涉足互联网金融，追逐大数据。

提到网购就会想到马云的阿里巴巴。阿里巴巴可谓国内电子商务界的龙头老大，阿里巴巴成功的因素之一就在于非常重视数据。1999年成立的阿里巴巴经过二十多年的发展，企业平台上已经积累了大量的数据，已经拥有阿里巴巴B2B、淘宝网、天猫商城、阿里云等众多子公司。

除了阿里巴巴之外，亚马逊、IBM、微软、甲骨文、百度等公司为了应对大数据时代的挑战和机遇，都在积极挖掘大数据中的宝藏。众多的商务企业在大数据的基础上，纷纷开始涉足互联网金融。网上支付、手机客户端支付已经成为主要的支付方式。

下面介绍亚马逊和阿里巴巴是如何利用大数据的。

一、亚马逊的大数据实践

亚马逊是全球第一家网络书店，它的掌门人是贝索斯（Jeff Bezos）。2016年，亚马逊的净利润达到了24亿美元，每股收益为4.90美元，同比上一年增长了3倍。据统计，其中1/3的收入来自亚马逊的个性化推荐系统。和很多企业不同的是，亚马逊推出新产品和服务的速度非常快，并不需要进行长时间的调研、分析等步骤。因为只要推出了新产品，几周之后，消费者就会自动留下珍贵的评论和购买数据，亚马逊采用大数据技术，详细分析这些数据背后的真相，准确地评估自己的新产品，从而决定是否继续推广、如何推广等。

亚马逊拥有最大的电子商务网络，这也使其可以大规模地收集消费者在浏览和消费的过程中留下的一切痕迹，从而拥有全面精准的数据。以此为中心，亚马逊开发了一款能够和苹果的iPad抗衡的产品——Kindle Fire。

亚马逊成立于1995年，成立之初一直处于亏损的状态，而且逐年严重。直到2003年，亚马逊才终于开始盈利。亚马逊的转变归功于它强大的推荐系统，亚马逊网店系统最强大的一点就是能够让顾客发现自己的潜在需求，“人气组合”“购买了此商品的用户还浏览了”等栏目都是吸引顾客发现自己潜在需求的“钓钩”。

亚马逊将顾客在网站内的所有行为都通过系统记录下来，根据数据的特点进行分类处理，按照商品类别形成不同的推荐栏目。例如，“今日推荐”就是根据当天顾客浏览的信息记录，推出一些点击率最高或者购买率最高的产品；“新产品推荐”则是根据顾客搜索的内容为其提供大量新产品的信息；“用户浏览商品推荐”则是将顾客曾经浏览过的商品信息再一次推向顾客，让顾客考虑购买或者进行二次购买。

捆绑销售法也是亚马逊采用的有效方法之一，即利用数据挖掘技术分析顾客的购买行为，找到某件商品的购买者经常一起购买的其他商品，构成销售组合，进行捆绑销售。“他人购买或浏览过的商品”栏目则是通过社会化的机制，根据购买同类商品的顾客的喜好，为顾客提供更多的选择，使顾客更加方便地挑选。

亚马逊成功的另一个主要原因是，亚马逊给出了大量的真实数据，让顾客在短时间内就对其产生了信任。亚马逊的推荐内容是根据真实的数据分析计算出来的，每个用户的档案中都记录了该用户的所有购买和浏览行为。亚马逊的商品评价系统也从另一个方面归纳和反映了顾客对产品的偏好。

二、阿里大数据

阿里巴巴应该是国内大数据的领导者，早在2010年就开始关注大数据战略。同年，MaxCompute（原ODPS）开始布局，蚂蚁小贷开始创业。2012年，阿里设立了CDO（Chief Data Officer，首席数据官）岗位以及成立了CDO事业部，全面负责阿里集团的数据分享平台的大数据战略。2014年，马云再次提出“人类正从IT时代走向DT（Data Technology，数据技术）时代”。IT时代是以自我控制、自我管理为主，而DT时代是以服务大众、激发生产力为主。

“未来制造业的最大能源不是石油，而是数据。”马云这样形容数据的重要意义。在他看来，阿里巴巴本质上是一家数据公司，做淘宝的目的是获得零售业的数据和制造业的数据；做物流不是为了送包裹，而是将这些数据合在一起。在阿里内部，由电子商务、互联网金融、电商物流、云计算与大数据等构成的阿里巴巴互联网商业生态圈，也正是阿里研究院扎根的“土壤”。

具体而言，阿里巴巴平台的所有数据均来自数百万充满活力的小微企业、个人创业者以及数亿消费者，阿里研究院通过对他们的商务活动和消费行为等进行研究分析，从某种程度上可以看出一个地方乃至宏观经济的结构和发展趋势。而随着阿里巴巴生态体系的不断拓展和延伸，阿里巴巴的数据资源一定程度上将能够有效弥补传统经济指标在衡量经济冷暖方面存在的滞后性缺陷，帮助政府更全面、及时、准确地掌握微观经济的运行情况。

具体到数据领域，阿里巴巴在互联网商业生态的基础上，从企业数据、就业数据、消费数据、商品数据和区域数据等入手，通过大数据挖掘和建模，开发若干数据产品与服务。例如，将互联网数据与宏观经济统计标准对接的互联网经济数据统计标准，包括了城市分级标准、网络消费结构分类标准、网上商品与服务分类标准等；而按经济主题划分的经济信息统计数据库则包括商品信息统计数据库、网购用户消费信息统计数据库、小企业与就业统计数据库、区域经济统计数据库。

对于如何利用大数据，马云在演讲中曾提到，“未来几年内，要把一切业务数据化，一切数据业务化”。其中，后半句话可以理解为，让阿里巴巴各项业务所产生、积累的大数据来丰富阿里的生态，同时让生态蕴含的数据产生新的价值，再反哺生态，这是一个循环逻辑。比如，蚂蚁金服旗下的芝麻信用未来将通过分析大量的网络交易及行为数据，如用户信用历史、行为偏好、履约能力、身份特质、人脉等信息，对用户进行信用评估，这些信用评估可以帮助互联网金融企业对用户的还款意愿及还款能力做出判断，继而为用户提供快速授信及现金分期服务。再如，对于农村电商领域，阿里研究院从2010年就已开始对“沙集模式”个案进行研究，后续一系列由数据和案例调研所驱动的农村电商研究成果，对于地方政府科学决策、推动当地农村电子商务发展、创造就业和发展地方经济起到了助力作用。

生活中的电子商务已经渗入各个行业和领域，无论是企业还是商贸甚至是校园，都可以感觉到电子商务带来的改变和便利。

第二篇　医疗与大数据

从人类长远发展来看，大数据应用的最佳领域便是卫生保健和医疗领域，因为这个领域一直拥有巨大的数据量。医疗行业中每天都会产生大量的数据信息，比如检验结果、费用数据、影像数据、感应数据、基因数据等。在医疗保健领域，大数据关键的应用是能预测流行病、治疗疾病、提高生活质量和避免可预防的死亡等。相关专项研究指出，如果能排除体制障碍，大数据分析可以帮助美国医疗服务业一年创造3 000亿美元的附加价值，重点集中在五大领域：临床操作、付款定价、研发、新商业模式和公众健康，涵盖了十多项应用场景。

一、临床操作

在临床操作方面，有五个主要的大数据应用场景。

1.比较效果研究

通过全面分析患者特征数据和疗效数据，然后比较多种干预措施的有效性，可以找到针对特定患者的最佳治疗途径。基于疗效的研究包括比较效果研究（Comparative Effectiveness Research，CER）。研究表明，对同一患者来说，医疗服务提供方不同，医疗护理方法和效果就不同，成本上也存在着很大的差异。精准分析所包含的数据为患者体征数据、费用数据和疗效数据等大型数据，它们可以帮助医生确定临床上最有效和最具有成本效益的治疗方法。医疗护理系统实现CER，将有可能减少过度治疗和治疗不足的问题。

2.临床决策支持系统

临床决策支持系统可以分析医生输入的条目，比较其与医学指引不同的地方，从而提醒医生防止潜在的错误，如药物不良反应等，可以提高工作效率和诊疗质量。通过部署这个系统，医疗服务提供方可以降低医疗事故发生率和索赔数，尤其是因临床错误引起的医疗事故。大数据分析技术将使临床决策支持系统更智能，这得益于对非结构化数据的分析能力的日益加强。比如可以使用图像分析和识别技术识别医疗影像，比如X光、CT、MRI等，或者挖掘医疗文献数据建立医疗专家数据库，从而给医生提出诊疗建议。

此外，临床决策支持系统还可以使医疗流程中大部分的工作流向护理人员和助理医生，使医生从耗时过长的简单咨询工作中解脱出来，提高治疗效率。

3.医疗数据透明度

提高医疗过程数据的透明度，可以使医疗从业者、医疗机构的绩效更透明，间接促进医疗服务质量的提高。根据医疗服务提供方设置的操作和绩效数据集，可以进行数据分析并创建可视化的流程图和仪表盘，促进信息透明。流程图的目标是识别和分析临床变异和医疗废物的来源，然后优化流程。仅仅发布成本、质量和绩效数据，即使没有与之相应的物质上的奖励，也往往可以促进绩效的提高，使医疗服务机构提供更好的服务，从而更有竞争力。数据分析可以带来业务流程的精简，通过精益生产降低成本，找到符合需求的高效的员工，从而提高护理质量，并给患者带来更好的体验，也给医疗服务机构带来业绩的增长。

4.远程患者监控

从对慢性病患者的远程监控系统搜集数据，并将分析结果反馈给监控设备，从而确定今后的用药和治疗方案。根据统计，我国各类慢性病患者超过3亿人，尤其是我国进入老龄化时代以后，将存在非常大的照护缺口，远程患者监护系统对治疗慢性病患者非常有用。远程患者监护系统包括家用心脏监测设备、血糖仪，甚至还包括芯片药片。芯片药片被患者摄入后，则实时传送数据到电子病历数据库。此外，通过对远程监控系统产生的数据的分析，可以减少患者住院时间，减少急诊量，实现提高家庭护理比例、增加门诊医生预约量的目标。

5.对患者档案的先进分析

在患者档案方面应用高级分析可以确定哪些人是某类疾病的易感人群。比如，应用高级分析可以帮助识别哪些患者有患糖尿病的高风险，使他们尽早接受预防性保健方案。这些方法也可以帮患者从已经存在的疾病管理方案中找到最好的治疗方案。

二、付款定价

对医疗支付方来说，通过大数据分析可以更好地对医疗服务进行定价。

1.自动化系统：更精准的医疗事故鉴定和索赔

利用自动化系统（例如机器学习技术）检测欺诈行为具有巨大的经济意义。通过一个全面、一致的索赔数据库和相应的算法，可以检测索赔准确性，查出欺诈行为。这种欺诈检测可以是追溯性的，也可以是实时的。在实时检测中，自动化系统可以在支付发生前就识别出欺诈行为，避免重大损失。

2.基于卫生经济学和疗效研究的定价计划：基于效果付费

一些医疗支付方正在利用数据分析衡量医疗服务提供方的服务，并依据结果进行定价。医疗服务支付方可以基于医疗效果进行支付，可以与医疗服务提供方进行谈判，检测医疗服务提供方提供的服务是否达到约定的标准。

三、研发

医疗产品公司可以利用大数据提高研发效率。

1.预测建模：以更低成本开发药物

医药公司在新药物的研发阶段，可以通过数据建模和分析确定最有效率的投入产出比，从而配备最佳资源组合。模型基于药物临床试验阶段之前的数据集及早期临床阶段的数据集，尽可能及时地预测临床结果。评价因素包括产品的安全性、有效性、潜在的不良反应和整体的试验结果。通过预测建模，可以降低医药产品公司的研发成本。

2.提高临床试验设计水平

使用统计工具和算法可以提高临床试验设计水平，并在临床试验阶段更容易地招募到患者。通过挖掘患者数据，评估招募患者是否符合试验条件，从而加快临床试验进程，提出更有效的临床试验设计建议，并找出最合适的临床试验基地。

3.临床实验数据分析

分析临床试验数据和患者记录可以确定药品更多的适应证和发现不良反应。在对临床试验数据和患者记录进行分析后，可以对药物进行重新定位，或者实现针对其他适应证的营销。实时或者近乎实时地收集不良反应报告，可以实现药物警戒。

4.个性化治疗：精准的治疗效果

通过对大型数据集（例如基因组数据）的分析，发展个性化治疗。个性化医学可以改善医疗保健效果，比如在患者发生疾病症状前就提供早期的检测和诊断。很多情况下，患者用同样的诊疗方案，但是疗效却不一样，部分原因是遗传变异。针对不同的患者采取不同的诊疗方案，或者根据患者的实际情况调整药物剂量，可以减少不良反应。

四、新商业模式

大数据分析可以给医疗服务行业带来新的商业模式。

1.汇总患者的临床记录和医疗保险数据集

汇总患者的临床记录和医疗保险数据集并进行高级分析，将提高医疗支付方、医疗服务提供方和医药企业的决策能力。比如，对医药企业来说，其不仅可以生产出具有更佳疗效的药品，而且能保证药品适销对路。

2.网络平台和社区

另一个潜在的大数据是网络平台和社区，这些平台已经产生了大量有价值的数据，包括患者的问诊数据、医生的学习习惯等。

五、公众健康

大数据的使用可以改善公众健康监控。公共卫生部门可以通过覆盖全国的患者电子病历数据库，快速检测传染病，进行全面的疫情监测，并通过集成疾病监测和响应程序，快速进行响应。这将带来很多好处，包括医疗索赔支出减少，传染病感染率降低，卫生部门可以更快地检测出新的传染病和疫情等。提供准确和及时的公众健康咨询，将会大幅提高公众健康风险意识，同时也将降低传染病感染风险。

第三篇　交通与大数据

说到交通与大数据，很多人都有亲身体验。比如在线导航，它不仅能根据实时的路况帮用户规划最佳路线，在行驶的过程中还会根据路况的变化情况动态调整路线，这实际上就是大数据在交通领域的直接应用。再比如网上购买火车票，输入出发点和目的地后，系统就会显示从出发点到目的地之间的所有可能车次及其时刻表，同时还会显示各车次、各等次车票的余票信息。还有打车软件，可以帮助我们快速联系到出租车。在城市公共交通中，有些城市设立了公交车行驶状态电子屏，在某一站等车时可以通过电子屏获取要等的车次目前所处的位置和到达前还需要停靠多少站等信息。像这样的应用还有很多，可见大数据已经给我们的交通带来了很大的便利。

2015年，政府工作报告中首次提出“互联网+”行动计划。互联网与传统行业的融合发展将从全流程上改造传统行业，从而产生新的业态。互联网与交通的碰撞也形成了线上资源合理分配、线下高效优质运行的新格局。

在“互联网+”背景下，智能交通大数据技术的应用不仅将“先知”逐渐变成现实，更建立起车、路、人之间的网络，通过整合信息，使得交通更加智能、精细和人性化，大大提高了管理者获取数据的能力、决策能力和管理交通的能力。

目前，我国城市的交通信息化已经建立起了基于电子警察、电子卡口数据的车辆缉查布控系统，对假牌套牌、逾期未检验、涉嫌盗抢车可进行自动报警；集合视频监控系统、公安GPS系统、交通GIS系统以及无线通信系统等建立的110指挥平台，具备了对辖区内突发事件决策处理“指令下得去、情报上得来”的能力。除此以外，交通流诱导系统、交通流采集系统、交通违法自动考量系统、交通视频监控系统等信息采集技术在各城市主干道已被广泛使用，“互联网+交通”已经具备了实时而庞大的数据源。

一、“互联网+交通”的表现形式

1.事前预判

交通问题（如飞机晚点和延误、堵车等），已经成为我们生活中习以为常的问题。交通永远不会有发展到最完美的时候，人类会不断提出新的要求以改善舒适度。智能交通能够提高人们出行的计划性，以出行高峰时段的交通拥堵为例，通过他人的出行数据，预备出行者可以提早知晓不久后的某时段交通预计的流量情况，以此妥善安排自身的出行计划。另外，智能交通可以提高出行的可靠性。例如甲要从A地去B地，必经路线的堵车已经无法避免，通过智能交通的技术手段，根据以往同一时段该路线的交通状况，可以预估同样出行方式下将可能多耗费的时间。还有，应用智能交通的自动避让和制动等功能还可以在一定程度上提高出行的安全性。

2.调整更改

对于城市交通管理者，智能交通是帮助其提高管理的技术手段。

例如，道路的渠化由交通设计院规划设计，然后施工建设。然而道路及其周边区域的情况不是一成不变的，随着城市的发展，道路起初的设计现在可能无法满足市民的实际需求。比如城北新建了一个工业园区，那么早高峰时往北面上班的车会明显增多，同时晚高峰时从城北返城的车也会增多。这时，之前设计的道路显然不足以满足市民的需求，将道路再次设计成潮汐车道或者是可变车道均可提升道路的通行能力，满足市民的需求。但是如何选择呢？这时，道路上安装的电子警察、卡口和视频监测器所采集的过车信息和车流量数据就可以为道路的渠化提供有用的信息。

再如，有些城市的红绿灯装有信号控制系统，在所有道路资源都充分使用的条件下，合理的红绿灯配时可以让道路的通行率大大提升。交通信号控制系统可根据前端独立的车辆信息来直接调整对应信号灯的绿信比，也可根据区域整体的车流状况对信号灯配时方案进行有针对性的区域协调。同时，这部分交通参数信息也可供其他相关联的交通管理系统使用。比如，通过大数据采集分析和交通仿真进行区域的信号协调控制。

3.分析应用

对交通出行的大数据进行分析总结可以得出不同城市的相互联系强度、城市流动人口的来源，指导城市对外交通建设；能够分析出城市交通现象与重要事件之间的关系，有效预防下次突发事件造成的交通压力；能够反映居民的出行路径、偏好，总结出居民的出行习惯，从而为第三方服务平台提供参考，加快推进交通运输由传统产业向现代服务业转型升级。

智能交通综合管控平台存储了大量的交通数据信息，如何有效、充分地利用这些信息非常重要。通过对平台存储的数据进行智能研判分析，获得一些潜在的有价值的数据和信息，为交通管理、刑侦稽查提供重要的线索和数据信息。

比如案件刑侦分析时，某些车辆行驶轨迹可能会成为重要线索。平台行车轨迹分析功能的作用就显现出来了，可以输入关注车辆的号牌，选定关注的时间段进行分析。分析结果会以列表的方式呈现，按照时间先后顺序显示该车辆在此时间段内的所有信息。如果平台部署了电子地图模块，可在电子地图模块展现车辆行车轨迹分析结果，并按照车辆行驶的时间和空间顺序，在地图中描绘车辆行驶轨迹。同时，目前机动车数量激增，我们无法直接凭借肉眼观察判定车辆号牌真伪、是否套牌，智能交通综合管控平台使用车牌识别技术，采集经过监测点车辆的信息，如车牌号码、车身颜色、车辆类型、出现时间，根据创建的套牌分析模型，实时自动完成套牌嫌疑车辆的检测和报警，可有效打击车辆套牌的行为。

而在治安监控中，外来车辆初次入城信息将会成为外地车辆流窜作案的重要线索。可利用卡口、电子警察采集车辆数据信息，在指定时间段内，对首次经过指定路口的车辆进行查询。此功能配合城市卡口包围圈、城际卡口、电子警察采集的数据信息将发挥更大的作用。

另外，智能交通综合管控平台对交通数据进行研判分析，可将违法多发地点按照违法次数从高到低的次序显示，为交通管理部门的警力调动安排提供参考。

二、智能交通大数据的主要应用

1.智能行为分析，助力违法监测

在传统的道路监控中，抓拍闯红灯、超速、逆行、不按导向行驶等功能已经被人们熟知，如今结合图像智能分析算法能够更加精确地识别车牌颜色、车身颜色、车型、车标、车辆品牌等属性，并且能实现不系安全带和接打电话行为检测、遮阳板检测等众多智能行为分析检测，更好地规范驾驶员的行为习惯，遏制事故与违法源头，同时也为交警实现非现场执法提供了强有力的技术保障。此外，在交通应用中，人脸识别功能所发挥的作用也日益凸显。它通过分析抓拍图中的人脸部分，比对黑名单库或进行嫌疑人人脸检索，助力公安抓捕违法犯罪分子，实现城市道路畅通与公共安全有序发展。

2.智能路况分析，提高道路通行效率

随着互联网技术的普及和完善，将先进的信息技术、通信技术、传感技术、控制技术以及计算机技术等有效地集成运用于公路监控体系，极大提高了监控、管理、服务效率。

各功能系统产生快速、大量、多样的数据，经过高效的数据查询、分析处理功能，也就是面向大数据的分析处理技术，可实时准确地获取公路交通信息，为交通管理和交通信息服务提供数据支持。如应用传感技术获取道路结冰、雨雪、大雾、事故、施工等信息，建立交通信息发布及服务系统，为出行者提供准确的出行信息，并可把服务信息通过运营商网络发布到出行者移动终端上，向司机提供天气、路面状况、事故易发地等信息，并可推荐行驶路线。

3.智能研判分析，提供决策依据

交通数据智能研判系统通过无缝对接城市卡口系统，运用云计算、车辆特征二次识别、大数据挖掘等技术，对部分交通行为或事件多维度碰撞预警和特征的深度二次分析，如首次进城、高危地区、遮挡面部等层层过滤式的嫌疑车辆挖掘技术，预测犯罪行为可能在何时、何地、哪些人之间发生，满足事前预警、事中打击、事后侦查的不同场景需求，为公安、交警等不同业务部门提供决策依据。

4.智能拥堵分析，助力城市交通规划

随着城市汽车保有量的不断上升，城市拥堵问题日益严峻。通过大数据建设道路交通指数，得知拥堵路段、拥堵时间、拥堵空间，通过数据分析掌握现状、找出规律、进行预测，为城市道路、轨道交通、公交系统的建设提供依据。

第四篇　教育与大数据

当今世界，科技日新月异，移动互联网、云计算、普适计算、大数据、物联网、人工智能等现代信息技术改变了人们的思维、生产、生活、学习方式，教育环境也发生了翻天覆地的变化。网络、平台、平板、搜索引擎、慕课、微课、私播课、云课堂、翻转课堂深刻地改变了技术扩散、知识共享的方式；出现了云教育平台、智慧教室、云课桌、电子书包、电子教材、可穿戴技术等，教育技术的进步呈现加速推进的新态势；开放教育资源使教学资源呈现全球化、数字化、大众化、可视化、微课化、智能化、便捷化、集约化、动态化、生成化、内聚性、多源性趋势，学习方法呈现多样化、个性化、定制化、碎片化、交互性、开放性的特点。慕课引发的“数字海啸”正在改变传统的教学方式。艺术化、情景化的教学设计，微型化、模块化、案例化的视频资源，网络游戏化的随堂测试，智能化互评的学习机制，使慕课成为学生拓展课程内容的理想选择。这意味着在大数据时代，教育的全球化、国际化竞争进程大大加速，正式学习与非正式学习的界限已经模糊。技术性媒体开拓了师生、生生沟通的新维度，教与学环境日益信息化、生活化。在线学习平台多年积累的大量揭示学习行为的结构化数据（如测试成绩、统计数据等）以及非结构化数据（如文本、图片、音频、视频、超媒体、全文文本、各类报表等）正在增多。教育大数据正在成为教育领域不可忽视的新型驱动力，在教育教学研究与实践中发挥着越来越重要的作用。

那什么是教育大数据呢？为了解析教育大数据的真正意义，需要对教育大数据的构成和特性进行分析。

在教育大数据的构成方面，在线学习的数据必不可少。可以说教育大数据的广受关注，与在线教与学的盛行有着密不可分的关系。在舍恩伯格的《与大数据同行——学习和教育的未来》一书中，第一个大数据教育应用案例就来自在线学习。随着在线教学的日益普及，在教与学过程中，由学习管理系统和各类移动设备所记录下来的各类海量数据成为分析教学过程的重要来源。这些数据包括记录学习过程的行为数据、记录学习结果的评价数据，以及学习形成的社会网络关系数据等。由这些数据拓展开来，教育大数据还包含着各类学生个人信息数据、教学管理数据等。可见，教育大数据来自教育教学的主体和过程。

依照不同层级的主体和教育教学活动的各项内容，教育大数据可以分为四个层次和六大类型。四个层次包括个体、学校、区域和国家。六大类型包括基础数据、教学数据、科研数据、管理数据、服务数据和舆情数据。其中，基础数据包括以人口学为代表的学习者基本信息数据；教学数据包括教学过程中涉及的过程、内容和结果数据；科研数据包括在各类教育教学实验与科研项目中获得的数据；管理数据包括各类教育管理系统中记录下来的数据，如学生的学籍数据、档案数据和各类统计数据等；服务数据包括各类与教育教学相关的服务系统中记录的数据，如各类师生生活服务、图书档案服务等；舆情数据包括各类公开媒体中与教育相关的数据，如各类教育新闻数据、微博等社会网络系统中的教育相关数据等。

一、教育大数据的特征

从特征的角度看，教育大数据的特征与大数据的特征既有重合又有不同。首先，从规模上看，教育大数据的体量尚未达到零售业、电信业等行业的规模，但已经超出了传统数据工具的处理能力。其次，从流动速度的角度，教育大数据流转速度相对较慢，并不像交易数据、搜索数据或通信数据具有快速流转的特性。相应地，教育教学的周期性决定了教育大数据具有典型的周期性。从数据构成方面看，教育大数据中非结构化数据特别是音视频数据占很大比重。这些数据来自课堂录像、教学资源等，不同于传统数据库记录的数据，具有一定的分析复杂性。同时，与电商等领域中步骤清晰、结果明确、周期较短的交易活动不同，教育教学活动具有更高的过程复杂性，通过教育大数据分析发现规律也就更为困难。综上，教育大数据的特征可以概括为强周期性、高复杂性和巨大价值。

二、教育大数据的来源、类型和结构

1.教育大数据的来源

教育大数据产生于各种教育实践活动，既包括正式和非正式环境下的学习活动，也包括线上和线下的教育教学活动。

教育大数据的核心数据源头是“人”和“物”，“人”包括学生、教师、管理者和家长；“物”包括学习平台、校园网站、多媒体设备等各种教育装备。

2.教育大数据的分类

（1）根据数据产生的业务，教育大数据可分为教学类数据、管理类数据、科研类数据、服务类数据。

（2）根据数据结构化的程度，教育大数据可分为结构化数据、半结构化数据、非结构化数据。

（3）根据数据产生的环节，教育大数据可分为过程性数据、结果性数据。

3.教育大数据的结构模型

教育大数据包括基础层、状态层、资源层、行为层，如图6-1所示。

图6-1　教育大数据的结构模型

三、教育大数据的作用

教育大数据将助推教学决策科学化、管理精细化、学习个性化、教学信息化。

1.教学决策科学化

大数据的应用使教师能够突破教学经验、常识、主观臆断的视野局限，其总体样本的特性能够避免个体见识和判断对决策科学性的负面影响。大数据时代，在线学习平台可以采集到更多更细的教育行为数据。比如，学习者资源浏览行为记录、交互记录、作业情况、测验成绩、小组报告质量、论坛发帖的数量和质量等都能以日志记录的形式被保存下来。这些实时教育数据被挖掘、研判与共享，可帮助教师反思课堂教学和在线课程设计，选择更科学、更适合的教学策略，助推基于证据的教学，让教师教之有“数”，让管理者管之有“理”。

2.管理精细化

大数据技术的发展为实现教育精细化管理，推动教育绿色、生态发展提供了有利条件。数据驱动管理有利于大幅度提升学校管理服务的水平和质量，使教育服务体验智能化。已有部分学校利用了大数据创新教育管理和服务模式，并已初见成效。

技术可以帮助各种教育装备自由接入在线学习平台，智能化定位、识别、跟踪、记录学习者在灵活学习空间的学习数据，比如记录学习者的呼吸、心率、面部表情、语音甚至是脑电波数据等，观察和分析学习者的复杂学习行为模式，制订精细化的培养方案。

3.学习个性化

大数据推动个性化学习方式兴起，孔子所倡导的“因材施教”正成为现实。大数据改善学习的三大核心要素是：反馈、个性化和概率预测。在大数据分析的支持下，可全过程、全方位记录、跟踪和掌握不同学习者的学习特点、学习需求、学习风格，为学生设计不同的学习路径，动态适应和调整教学内容、时间、方法等，实施干预式教学，增强学生的学习效率，让教学回归“以学生为中心”的本真。

4.教学信息化

大数据的迅速发展触发了更深层次的教学信息化。教育大数据改变了固有的教育教学系统生态环境，冲击了教师原有的工作方式和思想观点，促进了教育公平、优质、均衡、创新、个性、灵活和开放，也对教师提出了知识技能方面的诸多更高的要求。每个人都要承担自己的职责，与他人分享自己的观点，吸收他人的专长和经验等。教师要适应大数据时代的新型师生关系，应对技术变迁产生的新矛盾。