• Scrapy
  • scrapy-redis
    • python 分布式爬虫框架
  • requests
  • requests_html
  • beautifulsoup
    • 网页结构化
  • scrapy
    • 网页结构化
  • phantomJS
    • 运行网页js
  • selenium
    • 运行网页js