Anaconda
anaconda 一起安裝需多套件, 算是多整合環境, 可以方便開發跟安裝. anaconda 使用BSD license, 可以用在commerial 環境. anaconda 使用自己的python env, 所以要使用他的anaconda console, 執行windows menu 的anaconda juptyer, 可以在本機上有jupyter 可以使用.
Video tutorial
scrapy
- scrapy : 不是英文單字, 是抓網頁module
- scapy : 不是英文單字, 是網路protocol 分析module
開始一個新的scrapy project, 會產生一個project 子目錄
dos>scrapy startproject <name>
dos>scrapy genspider <name> <url>
執行一個抓取
dos>scrapy crawler <name>