同乐学堂

2017-10-09zhangtongle阅读(3674)赞(0)

随着Scrapy等框架的流行，用Python等语言写爬虫已然成为一种时尚。但是今天，我们并不谈如何写爬虫，而是说说不要写代码就能写出来的爬虫。 爬虫新时代 在早期互联网世界，写爬虫是一项技术含量非常高的活，往大的方向说，爬虫技术是搜索引擎的...

2017-09-29zhangtongle阅读(3967)赞(0)

知乎上有很多关于语言选择的问题，这已经是月经贴了。其中关于Python和Java的问题大抵如下： Python和Java该如何选择 ？ 将来Python(Java)会不会替代Java(Python) ？ 零基础应该选择学习Python还是J...

2017-09-25zhangtongle阅读(3870)赞(0)

scrapy 集成 selenium  可以达到动态的抓取网页安装自动化测试工具pip install -i https://pypi.douban.com/simple/  selenium下载谷歌...

2017-09-22zhangtongle阅读(3180)赞(0)

前言用scrapy的CrawlSpider爬取某某招聘网站的数据，并提取关键指标。此家招聘网站做了反扒机制，比较难搞，并且以访问，和爬取频率来封IP~来减轻爬虫的爬取~创建表模型，备注：（因此招聘网站数据类型较多，为了快速进行迭代开发，我们...

2017-09-20zhangtongle阅读(3880)赞(0)

爬取知乎表结构设计每个问题id对应多个回答ID. SO,设计两张表。

2017-09-19zhangtongle阅读(3675)赞(0)

一、登陆知乎1、首先建立知乎的爬虫，就直接在之前项目下建立。

2017-09-18zhangtongle阅读(4172)赞(0)

前言Day4的爬虫类感觉，写的好多重复代码 ，写的有点像java，经过利用scrapy的ItemLoader机制，终于代码有点像Python了！其实编程语言，没有简洁之分，跟代码的设计模式有关，通过封装，代码的抽取来达到实际作用业务逻辑代码...

2017-09-17zhangtongle阅读(3558)赞(0)

前言

2017-09-16zhangtongle阅读(3589)赞(0)

前言

2017-09-14zhangtongle阅读(8292)赞(0)

from openpyxl import Workbookfrom openpyxl.chart import ( AreaChart, Reference, Series,) wb = Workbook...