webscraper的学习

  • A+
所属分类:未分类 信息管理

webscraper比较简单易学,不需要编程基础,就可以爬虫了

【1】 安装webscraper,需要科学上网,到chrome浏览器的扩展商店下载安装。

【2】 安装好后,在需要爬取的网站上,右键点击检查,就会调出webscraper。

【3】进行简单设置就可以开始爬取了。可以选择知乎大V的文章栏练习抓取

主要是对sitemap进行设置。

有一步记得点击就是refresh

【4】 练习和学习对webscraper的理解和设置

最关键的是刚刚开始要学习慢慢尝试

webscraper的学习

1 是google浏览器也就是chrome安装好后任意网页上右键点击检查,就会出现webscraper工具

2 是创建sitemap   3sitemap列表

4是sitemap功能  这个暂时不需要点击,点开下面的ID,4就会出现具体sitemap名字,这时候

再点击就有许多功能了。

 

webscraper

可以单独爬取网页文章列表,

自动翻页,自动下拉,自动下拉加翻页爬取全部文章。

  • 我的微信
  • 这是我的微信扫一扫
  • weinxin
  • 我的微信公众号
  • 我的微信公众号扫一扫
  • weinxin

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: