首页
会员中心
到顶部
到尾部
Python毕设

基于Python(爬虫)的朋友圈关系数据分析与实现(源码和论文)

时间:2020/10/13 22:30:44  作者:  来源:  查看:0  评论:0
内容摘要: 摘  要网络爬虫是一个非常注重实践性而且实用性很强的编程技能,它不是程序员的专属技能,任何具有一定编程基础的人都可以学习爬虫,写爬虫分析股票走势,上链家爬房源分析房价趋势,爬知乎、爬豆瓣、爬新浪微博、爬影评,等等。人工智能时代,对数据的依赖越来越重要,数据主要的...

摘  要

网络爬虫是一个非常注重实践性而且实用性很强的编程技能,它不是程序员的专属技能,任何具有一定编程基础的人都可以学习爬虫,写爬虫分析股票走势,上链家爬房源分析房价趋势,爬知乎、爬豆瓣、爬新浪微博、爬影评,等等。人工智能时代,对数据的依赖越来越重要,数据主要的来源就是通过爬虫获取,通过爬取获取数据可以进行市场调研和数据分析,作为机器学习和数据挖掘的原始数据。

本文基于 Python 对微信好友进行数据分析,这里选择的维度主要有:性别、头像、签名、位置,主要采用图表和词云两种形式来呈现结果。同平时登录网页版微信一样,我们使用手机扫描二维码就可以登录,这里返回的friends对象是一个集合,第一个元素是当前用户。

关键词:网络爬虫;Python;朋友圈

Abstract

Web crawler is a very practical and practical programming skills, it is not the exclusive skills of programmers, anyone with a certain programming base can learn crawler, write crawler analysis stock trends, Lianjia crawled house price trends, crawling know, climb pea petal, Sina climber Weibo, climbing film review, and so on. In the era of artificial intelligence, the dependence on data is becoming more and more important. The main source of data is crawler acquisition, which can be used for market research and data analysis as the original data for machine learning and data mining.

This paper analyzes the data of WeChat friends based on Python. The main dimensions selected here are: gender, image, signature, location, mainly using two forms of chart and word cloud to present the results. Like WeChat, we use our mobile phone to scan the QR code. The friends object returned here is a collection, and the first element is the current user.

Keywords: Web crawler Python; circle of friends

目录

摘  要1

Abstract2

1 绪论4

1.1 选题背景4

1.2 研究意义6

1.3 论文主要研究内容及组织结构7

1.3.1主要研究内容7

1.3.2论文组织结构8

2 关键技术和理论基础综述9

2.1  社交网络9

2.1.1  社交网络的概念9

2.1.2  社交网络特点11

2.1.3  社交朋友圈关系数据分析动机12

2.1.4  社交网络主要研究方向13

2.2  朋友圈关系数据分析14

2.2.1朋友圈关系数据分析研究现状14

2.2.2本文对社交朋友圈关系数据分析的定义15

2.3  聚类分析16

2.3.1聚类定义16

2.3.2聚类分析过程17

2.3.3主要聚类分析方法17

2.4  技术方法框架18

3 基于网络爬虫技术的数据采集19

3.1 网络爬虫工作原理19

3.1.1 网络爬虫基本工作原理19

3.1.2 URL存在形态分析20

3.2 定向爬虫定制23

3.2.1通过wireshark抓包法分析HTTP协议23

3.2.2分析网站行为24

3.2.3正则表达式设计25

3.3代码设计26

3.3.1  UID获取26

3.3.2以CSV格式对数据进行输出29

3.3.3 爬虫设计过程中克服的技术难点29

4 微信朋友圈关系数据聚类分析32

4.1 数据预处理34

4.1.1数据格式标准化处理34

4.1.2通过SPSS描述数据特征36

4.1.3通过SPSS离散化数据37

4.2聚类分析39

4.2.1聚类算法选取39

4.2.2 EM算法参数设置41

4.3 聚类结果分析42

4.3.1EM算法结果42

4.3.2结果分析44

5结束语46

5.1 全文总结46

5.2 进一步研究的问题46

参考文献48


基于Python(爬虫)的朋友圈关系数据分析与实现(源码和论文)

基于Python(爬虫)的朋友圈关系数据分析与实现(源码和论文)

基于Python(爬虫)的朋友圈关系数据分析与实现(源码和论文)

基于Python(爬虫)的朋友圈关系数据分析与实现(源码和论文)

  


相关评论
Python毕设
    本类推荐
      广告联系QQ:45157718 点击这里给我发消息 电话:13516821613 杭州余杭东港路118号雷恩国际科技创新园  网站技术支持:黄菊华互联网工作室 浙ICP备06056032号