爬虫 web scraper 爬取 抓取数据 笔记 五 抓取文章链接

抓取文章链接

实例：知乎 张佳玮 文章主页

https://www.zhihu.com/people/zhang-jia-wei/posts

步骤（通用 ！！！）

1、打开 web scraper

2、创建 sitemap

3、设置 selector （抓取规则）

4、启动抓取程序

5、导出 excel 到本地电脑

Link 选择器可以抓取：

视频链接

图片链接

##链接

点击后能发生网页跳转的元素，大部分都能抓取

弹出来的抓取窗口不要关闭，此时可以做其他的事情

1、web-scraper-order : 用于排序

2、web-scraper-start-url : start url

3、title-link : selector Id （链接的文字）

4、title-link -href : 链接的真实 url