1. 毕业设计（论文）的内容和要求
随着网络技术与新媒体技术的快速发展，互联网产生的数据也在快速增长，人们也越来越注重数据的意义，重视研究数据挖掘的价值。
传统的人工数据采集方法，因样本小、误差大等因素，已经无法满足高质量分析的需求，在信息迅速膨胀的时代，网络爬虫就备受人们追捧，成为当下信息采集数据挖掘的主要方式之一。
一些学者提出：互联网上60%的流量都是由网络爬虫带来的。
2. 参考文献
[1]东熠,刘景发,刘文杰.基于多目标蚁群算法的主题爬虫策略[J/OL].计算机工程:1-11[2020-01-12].https://doi.org/10.19678/j.issn.1000-3428.0055967.[2]左薇,张熹,董红娟,于梦君.主题网络爬虫研究综述[J/OL].软件导刊:1-4[2020-01-12].http://kns.cnki.net/kcms/detail/42.1671.TP.20190820.1123.012.html.[3]鲁丰玲.基于Scrapy的招聘信息爬虫设计与实现[J].科技资讯,2019,17(20):7-10.[4]赵康. 面向主题的网络爬虫系统的设计与实现[D].北京邮电大学,2019.[5]蒋鹏. 基于仿生学的主题爬虫搜索策略及关键技术研究[D].重庆邮电大学,2019.[6]肖新凤,余伟,李石君,陈亚辉,刘倍雄,刘永明.可动态自适应主题爬虫的研究[J].计算机与数字工程,2019,47(05):1151-1159.[7]周昆,王钊,于碧辉.基于语义相关度主题爬虫的语料采集方法[J].计算机系统应用,2019,28(05):190-195.[8]靖思婷. 面向汽车领域采购线索发现的主题爬虫设计与实现[D].吉林大学,2019.[9]屈莉莉,李雪峰,翟军.招聘网站职位需求的WebMagic主题爬虫技术分析[J].信息系统工程,2019(02):79-81.[10]杨凌云.主题网络爬虫关键技术的应用探讨[J].电脑编程技巧与维护,2018(11):33-35.[11]宋宇.MOOC背景下从主题爬虫角度看图书馆数字资源建设[J].内蒙古科技与经济,2018(19):103-104.[12]邢黎,吴茂念.招聘主题爬虫的设计和应用[J].电脑知识与技术,2018,14(25):73-75.[13]张倩,林安成,廖秀秀.自动结构化数据的电商网站主题爬虫研究[J].计算机系统应用,2018,27(07):90-95.[14]张佳琦. 面向校园招聘主题的分布式爬虫系统的设计与实现[D].大连交通大学,2018.[15]马进. 主题网络爬虫关键技术研究[D].湖南工业大学,2018.[16]Liu Jingfang,Zhang Wei,Jiang Xiaoyan,Zhou Yingyi. Data Mining of the Reviews from Online Private Doctors.[J]. Telemedicine journal and e-health : the official journal of the American Telemedicine Association,2019.[17]Tong Wu,Yanchun Liang,Chunguo Wu,Shifeng Piao,Deyin Ma,Guozhong Zhao,Xiaosong Han. A Chinese Topic Crawler Focused on Customer Development[J]. Procedia CIRP,2016,56.[18]Song Biao,Zhu Jian-ming,Zhang Jian-guang. A research of dynamic theme crawler based on keywords and support vector machine[P]. Management Science Engineering (ICMSE), 2014 International Conference on,2014.[19]Goyal, D.,Kalra, M.. A novel prediction method of relevancy for focused crawling in topic specific search[P]. Signal Propagation and Computer Technology (ICSPCT), 2014 International Conference on,2014.[20]Ping Zhou. Design and Realization of SVM Topic Crawler Based on Incremental Learning[P]. Proceedings of the 2015 3rd International Conference on Machinery, Materials and Information Technology Applications,2015.
