抓取文章链接
实例:知乎 张佳玮 文章主页
https://www.zhihu.com/people/zhang-jia-wei/posts
步骤(通用 !!!)
1、打开 web scraper
2、创建 sitemap
3、设置 selector (抓取规则)
4、启动抓取程序
5、导出 excel 到本地电脑
Link 选择器可以抓取:
视频链接
图片链接
##链接
点击后能发生网页跳转的元素,大部分都能抓取
弹出来的抓取窗口不要关闭,此时可以做其他的事情
1、web-scraper-order : 用于排序
2、web-scraper-start-url : start url
3、title-link : selector Id (链接的文字)
4、title-link -href : 链接的真实 url