一种基于P2P技术的分布式微博爬虫系统

被引：9

作者：

卢杨 ^{[1
,2
]}

李华康 ^{[1
,2
]}

孙国梓 ^{[1
,2
]}

机构：

[1] 南京邮电大学计算机学院

[2] 南京邮电大学计算机技术研究所

来源：

江苏大学学报(自然科学版) | 2016年 / 37卷 / 03期

关键词：

网络爬虫; P2P; 分布式; 微博; 模拟登录;

D O I：

暂无

中图分类号：

TP391.1 [文字信息处理];

学科分类号：

081203 ; 0835 ;

摘要：

微博正逐步成为公共信息传播的主要媒体,高效地获取微博数据则显得至关重要,分析微博数据有助于研究者及时了解舆情信息.由于传统网页爬虫无法获取完整的微博信息,微博API又有诸多限制,因此针对新浪微博,设计了一种基于P2P技术的微博爬虫系统.该系统避免了新浪API的功能和连接限制,使用基于模拟登录的网页爬虫,根据用户的地理位置信息划分任务,实现连续高效的数据采集.通过与其他架构的试验比较,证明本系统具有良好的性能,能为舆情分析提供数据支持.

引用

页码：296 / 301

页数：6

共 13 条

[1]

分布式Web信息采集关键技术研究.[D].许笑.哈尔滨工业大学.2011, 04

[2] 一种基于模拟登录的微博数据采集方案 [J].