談談對scrapy的了解？

　　一：對scrapy的認識：

　　1.scrapy只是一個爬蟲的框架

　　他把爬蟲的需要的共性的東西都默認寫下來了，只需要我們具體細化，具體分析補充里面的細節(jié)的東西。就像造房子一樣，scrapy就充當了一個房屋架構(gòu)，至于房屋里面的東西 需要我們自己去補充設計。

　　2.scrapy的幾個部分

　　引擎(engine) 爬蟲(spider)調(diào)度器(scheduler) 下載器(downloader) items文件pipeline(管道文件) settings.py(進行對爬蟲修改的東西，比如UserAgent可以注釋掉，pipline管道文件可以將其關閉，從而不使用管道文件，robots協(xié)議可以改為False)

　　3.各個部分的作用

　　引擎的作用：處理scrapy這幾個部分之間的聯(lián)系，像人類的大腦，由引擎控制其他各個部分,扮演一個事情通知員的角色，是其他部分之間聯(lián)系的橋梁。

　　調(diào)度器：使我們需要爬取的Url做一個個有序排列

　　下載器：從云端internet上下載東西

　　spider：爬蟲 對爬蟲的編寫，實現(xiàn)爬取數(shù)據(jù)，是整個爬蟲的主干

　　items文件：需要爬取的字段寫在里面 如：name=scrapy.Field()

　　pipeline：管道文件，用來寫存儲代碼的，將爬取的數(shù)據(jù)存儲到本地或者數(shù)據(jù)庫

　　ps：以上大概了解下各個部分的職能就好了。

　　二.scrpay框架實現(xiàn)爬蟲的模擬的簡要過程：

　　1.首先引擎告訴spider我們需要爬取的數(shù)據(jù)的網(wǎng)域domain，然后spider給引擎作出回應表示知道了

　　2.引擎告訴調(diào)度器(scheduler)‘需要你排序啦’，然后spider將域告訴調(diào)度器，調(diào)度器將域里面每個需要爬取的url做一個排序，然后對引擎說‘’ 我排好序了’’

　　3.引擎就對下載器說‘調(diào)度器排好序了，你待會需要從云端下載東西了’ 。。。下載器就準備開始以一個個的url里面下載我們寫的item文件，下載好后，對引擎說‘’我下載好了“

　　4.引擎就開始對spider說“下載器把items文件下好了”,下載器將下載的item文件(響應文件)給spider，spider將得到的items文件(響應文件)給pipline管道進行存儲，同時將繼續(xù)要爬取的URl給調(diào)度器，然后調(diào)度器，然后周而復始 直到需要爬取的url爬完。

　　寫spider(爬蟲)中需要注意的

　　1. name是必要參數(shù)，是scrapy爬蟲的名字。domain域可選參數(shù)，可以沒有，start_urls必要的參數(shù)，是指開始要爬取的url。

　　2. def parse(self,response) 這個函數(shù)是就這個名字，scrapy中定了的，是對響應文件做出處理的函數(shù)。

　　3. yield 生成器函數(shù)，生成一個新的函數(shù)，再對數(shù)據(jù)做出進一步處理 如：

　　ps：yield自己理解的也不是很清楚，見諒。

　　4. xpath中的.extract()方法：從一個列表中(脫殼)得到一個新的列表。一心得到標簽里面的元素，以列表形式返回

　　(1)第一種

　　position = response.xpath(’./td[1]/a/text()’)[] 技術類 2 深圳 2018ps：沒有extract()的時候，整個標簽的東西都拿下來了。返回的是一個selector對象(2)第二種

　　position = response.xpath(’./td[1]/a/text()’).extract()[‘22989-騰訊云虛擬化高級研發(fā)工程師(深圳) 技術類 2 深圳 2018’]

　　(3)第三種

　　position=response.xpath‘./td[1]/a/text()’).extract[0]22989-騰訊云虛擬化高級研發(fā)工程師(深圳) 技術類 2 深圳 2018

　　scrapy寫爬蟲的步驟：

　　1. 新建項目：scrapy startproject <項目名>，創(chuàng)建爬蟲 scrpay genspider <爬蟲名> “爬取數(shù)據(jù)的域 如：www.cqggzy.com”

　　2. 明確自己需要爬取的數(shù)據(jù)，寫items字段

　　3. 編寫spider爬蟲

　　4. 存儲：編寫管道文件

　　注意事項：

　　scrapy默認setting.py中管道文件是關閉的，需要打開，請求頭在settings中最好將headers也打開，UserAgent最好修改全面一點。robots協(xié)議也可以改為False。