首页理论教育大数据应用模式与实证研究：高校图书馆的软件使用方法

大数据应用模式与实证研究：高校图书馆的软件使用方法

2023-07-24 理论教育版权反馈

【摘要】：编辑repo文件执行命令：安装执行命令：配置配置root密码：2.配置MariaDB用户及数据库创建用户并赋权假设数据库所在主机IP为192.168.1.2，执行命令：创建数据库3.安装Python3和依赖模块安装Python3执行命令：安装依赖文件执行命令：4.配置程序及运行配置。执行如下命令输入关键词文件的文件名“1.txt”。程序运行一段时间后，可在数据库本地记录查看爬取的学术文档数据。

1.安装MariaDB数据库

本软件在centOS操作系统中将爬取的数据存储在MariaDB数据库中。

（1）编辑repo文件

执行命令：

pagenumber_ebook=146,pagenumber_book=137

（2）安装

执行命令：

pagenumber_ebook=146,pagenumber_book=137

（3）配置

配置root密码：

2.配置MariaDB用户及数据库

（1）创建用户并赋权

假设数据库所在主机IP为192.168.1.2，执行命令：

pagenumber_ebook=146,pagenumber_book=137

pagenumber_ebook=147,pagenumber_book=138

（2）创建数据库

pagenumber_ebook=147,pagenumber_book=138

3.安装Python3和依赖模块

（1）安装Python3

执行命令：

pagenumber_ebook=147,pagenumber_book=138

（2）安装依赖文件

执行命令：

pagenumber_ebook=147,pagenumber_book=138

4.配置程序及运行

（1）配置。编辑文件varibles.py，将dbIPAddr改为数据库服务器IP（默认127.0.0.1），此处改为192.168.1.120（这里可依据具体的服务器IP地址配置），如图11.1所示，图中dbUser和dbPassword分别为服务器用户名和密码。

pagenumber_ebook=148,pagenumber_book=139

图11.1　配置文件cnki/varibles.py

新建关键词文件，名为“1.txt”，每行写一个关键词，此处为“mysql”和“linux”，共两个，如图11.2所示：

pagenumber_ebook=148,pagenumber_book=139

图11.2　存储爬取关键字的文本文件“1.txt”

（2）运行。执行如下命令（其中crawler.py为文件名）

输入关键词文件的文件名“1.txt”。程序运行一段时间后，可在数据库本地记录查看爬取的学术文档数据。