首页 理论教育2017年软件工程专集:文化创意产业营销服务平台构建分析

2017年软件工程专集:文化创意产业营销服务平台构建分析

【摘要】:文化创意产业营销服务平台建设应用现代新兴技术,提供文化创意产业营销相关各类数据的搜集、存储、清洗、分析、查询、评估,拥有针对结构化数据、非结构化数据的存储和快速查询能力,并可对外提供封装后的接口。将基于大数据服务的创意创业营销支撑智能服务为平台打造成立足上海、覆盖全国的文化创意产品营销服务平台。图1文化创意产业营销服务平台架构图 基础数据层。

文化创意产业营销服务平台建设应用现代新兴技术,提供文化创意产业营销相关各类数据的搜集、存储、清洗、分析、查询、评估,拥有针对结构化数据、非结构化数据的存储和快速查询能力,并可对外提供封装后的接口。主要建设文化创意营销服务门户系统、文化创意产业营销移动系统等内容,推进文化创意产业资源信息的整合,促进文化创意产品供需的有效对接,提高中小文化创意企业和个体户产品营销能力和业务健康成长,提升文化创意消费者的消费体验度和消费品质。将基于大数据服务的创意创业营销支撑智能服务为平台打造成立足上海、覆盖全国的文化创意产品营销服务平台。

系统架构包括基础数据层、大数据支撑层、数据服务层、分析服务层、应用服务层,如图1所示。关键技术包括ETL数据清洗技术、大数据MapReduce框架技术、大数据Hadoop/Spark技术、可视化技术。

图1 文化创意产业营销服务平台架构图

(1) 基础数据层。包括企业数据、用户数据、产品数据、Mob标签库、百度云标签、爬虫数据和空间数据。Mob标签数据主要包括用户的基本属性、地理位置属性、朋友圈属性和APP使用行为数据,拥有超过700条的标签数据体系。百度云数据包括基础信息、地理位置、搜索偏好、职业兴趣等,其中搜索偏好有重要的营销价值。用户DMP数据是指客户积累的客户用户基础数据和消费数据。爬虫数据则依据具体的场景而定,可以在垂直网站、社交网站上挖掘业务数据和用户爱好、情绪、职业等内容。

(2) 大数据支撑层。搭建支持分布式集群可高并发处理海量数据的Hadoop/Spark大数据基础平台,主要包括HDFS、HBase、Hive、ZooKeeper等组件,共同完成数据导入导出、存储、清洗、离线查询、实时高速查询和基础统计分析的功能。(www.chuimin.cn)

为了补充业务数据,还需要从互联网上持续地采集数据,并进行数据清洗、文本挖掘等工作,为用户画像数据提供丰富、鲜活的数据来源。这就需要爬虫框架。PythonScrapy是一款优秀的开源爬虫框架,平台在此基础上进行定制开发。地图平台是大数据选址的基本工具,在这里我们选择百度地图API作为我们的基础底图。而大部分的分析功能需要在成熟的企业级GIS平台Arcgis Server平台上来完成。这就需要把百度地图集成到Server平台上来,实现基于空间的数据分析和地图表达。

(3) 数据服务层。对不同来源的数据进行整合,需要进行清洗、去重、贴标签的操作,并依据不同行业的需要对用户重新打标签,并根据实际情况更新用户的状态。把这些整理好的数据作为分析精准营销和客户留存需求的基础。分析用户数据、预测用户行为是通过大规模机器学习实现的。平台采用skith-learn作为数据分析工具包。

(4) 分析服务层。针对需求的需要进行的具体分析内容。精准营销方面主要涉及用户特征、聚类用户相似度分析、用户留存分析、用户情感分析、关联规则挖掘、频繁模式挖掘、社交网络分析和推荐购买分析。选址分析依托空间分析实现,主要包括商圈分布分析、目标人群分布、竞争对手分析、空间客流密度、空间消费力网格、空间可达性分析、环境治安网格、空间引力分析等内容。

(5) 应用服务层。在应用服务方面,平台将为企业、消费者提供线下体验、线上导购、电子商务、精准营销等服务。

系统可以适配不同的数据,经过对数据进行筛选、清洗,再对异构数据进行数据的挖掘分析、模型匹配等。同时利用CDN加速,解决数据访问量剧增、服务器硬件和带宽负荷、不同区域的用户访问体验差异较大等问题。