1樓：匿名使用者
不一定。
scrapy是個框架，很多輪子不用自己這寫了。
不過scrapy比較「重」，如果是小型、單一的爬蟲任務，我覺得自己重頭寫反而比較輕便快速，夠用就好。
題主是不是剛開始學爬蟲，如果是，建議先理解爬蟲的幾個模組，理解了原理再學scrapy才會有效率。我理解的模組有如下幾個：
訪問頁面，用requests，知道get和post方法來獲得網頁的html**。如果頁面用到ajax之類動態載入的，可以通過分析原碼爬人家的json(學習下python裡json的包)，或者瞭解一下selenium（不到萬不得以不太推薦）的用法。
提取html裡的內容，就是我們要爬的內容啦，這個方法有很多，比如正則式，比如xpath，比如beautifulsoup等等，我主要是用xpath，複雜一點的情況會配合正則用。
儲存，程式裡，是存在字典還是列表還是pandas的dateframe,就看你個人需要啦。程式外，可以直接存成txt、excel或者放進資料庫，python這方面的現在的庫也很多，教程也很多。
scrapy在以上提到的基本模組基礎上還加入了其他功能，如果哪天樓主覺得以上的模組不夠用可以試著先自己造個小輪子，比如通過**來換ip等等。等理解了這些模組時再學scrapy也不遲，而且事半功倍。至於安裝問題，pip install scrapy不就能解決嗎。。
2樓：匿名使用者
3樓：匿名使用者
工作原因，這類產品我用的比較多，個人比較推薦
618動態ip（價效比高，ip***）
python除了用scrapy框架做網路爬蟲還有什麼其他的框架 5
想學爬蟲就一定要學python嗎？
4樓：老男孩教育
並不是說想要學習爬蟲就必須學習python，其他語言也可以從事爬蟲，不過對比其他語言來說，python更適合爬蟲，要更加容易簡單，所以建議學習python。
5樓：time芽衣子
也不是一定，只是因為python更適合寫爬蟲，所以最好還是用python
6樓：物禮禮物
其他語言也可以爬，只不過python入門簡單一些
幼師一定要學鋼琴嗎，幼師一定要學鋼琴嗎？不學可以嗎
現在有很多幼兒園都有鋼琴課，學好鋼琴可以增加自己的技能和競爭力，學的再好些可以去外面當鋼琴老師，收入也不錯。必須需要啊。舞蹈，鋼琴，聲樂，講故事，美術。另外文化課，學前心理學，學前衛生學，學前教育學，還有各種衛生，數學，等等教法課，還有奧爾夫，蒙臺梭利等等教學法。求採納為滿意回答。嘿嘿。這個要看你學...
為什麼英語一定要學為什麼中國的學生一定要學英語
因為英語是國際語言，可以全世界通用的，去 都可以使用英語，而且，懂英語的人有很多，說英語可以很好地與他們交流，分享喜悅，共同學習，而且，多一門語言也可以更好地訓練大腦 神經，可以增加很多知識量，可以提高品味和修養，很多外國友人都是使用英語的，他們日常習慣用英文，你學了英語，就可以和他們交朋友，甚至可...
學程式設計一定要數學 英語都好嗎，學電腦程式設計必須要英語和數學好嗎
程式設計和數學英語沒啥關係，所謂的要數學好指的是你的思維能力好，英語好指的是可以更好的查閱一些英文文件罷了。要不你就學動漫要不你就學程式設計，把一個方向學好就不錯了，計算機東西太多不是你想學就能學的了的，學的太多結果什麼都學不會學不精.英語還好 在程式設計的時候是會自動補全的 只要你記得關鍵字就可以...