爬虫 web scraper 爬取 抓取数据 笔记 五 抓取文章链接

抓取文章链接

实例:知乎 张佳玮 文章主页

https://www.zhihu.com/people/zhang-jia-wei/posts

步骤(通用 !!!

1、打开 web scraper

2、创建 sitemap

3、设置 selector (抓取规则)

4、启动抓取程序

5、导出 excel 到本地电脑

Link 选择器可以抓取:

视频链接

图片链接

##链接

点击后能发生网页跳转的元素,大部分都能抓取

弹出来的抓取窗口不要关闭,此时可以做其他的事情

1、web-scraper-order : 用于排序

2、web-scraper-start-url : start url

3、title-link : selector Id (链接的文字)

4、title-link -href : 链接的真实 url

发表评论

zh_CNChinese
zh_CNChinese