舞动的灵魂

快速入门

Selenium 库里有个叫 WebDriver 的 API。WebDriver 有点儿像可以加载网站的浏览器，但是它也可以像 BeautifulSoup 或者其他 Selector 对象一样用来查找页面元素，与页面上的元素进行交互 (发送文本、点击等)，以及执行其他动作来运行网络爬虫。

一、项目创建

1、打开cmd，将路径cd到将要创建项目的文件夹，执行命令scrapy startproject 项目名。
2、新建项目下有一个spiders文件夹，将路径cd到spiders文件夹，执行命令scrapy genspider 文件名 web。
3、如果第二步的文件名为basic，则运行项目时在spiders下执行命令scrapy crawl basic。
4、在爬取的同时我们也可以把数据保存到文件中，通过如下命令即可：scrapy crawl basic -o items.json。