0%

快速入门

Selenium 库里有个叫 WebDriver 的 API。WebDriver 有点儿像可以加载网站的浏览器,但是它也可以像 BeautifulSoup 或者其他 Selector 对象一样用来查找页面元素,与页面上的元素进行交互 (发送文本、点击等),以及执行其他动作来运行网络爬虫。

阅读全文 »

一、项目创建

1、打开cmd,将路径cd到将要创建项目的文件夹,执行命令scrapy startproject 项目名
2、新建项目下有一个spiders文件夹,将路径cd到spiders文件夹,执行命令scrapy genspider 文件名 web
3、如果第二步的文件名为basic,则运行项目时在spiders下执行命令scrapy crawl basic
4、在爬取的同时我们也可以把数据保存到文件中,通过如下命令即可:scrapy crawl basic -o items.json

阅读全文 »