爬虫 web scraper 爬取 抓取数据 笔记 三 使用
以下步骤,需要在浏览器网页内操作!
1、鼠标右键 —> 审查元素 (或检查)
Chrome 使用方法
实例:知乎大V张佳玮⽂章主⻚
https://www.zhihu.com/people/zhang-jia-wei/posts
步骤(通用!!!)
1、打开 web scraper
2、创建 sitemap
3、设置 selector (抓取规则)
4、启动抓取程序
5、到处 excel 到本地电脑
1、抓取窗口可以最小化,但是不能关闭!
2、可以同时启动多个抓取程序
导出数据到本地电脑
1、web-scraper-order : 用于排序
2、web-scraper-start-url : start url
3、title : selector id
注:如果抓取的数据不对,重新进行抓取,在进行选择的时候,要查看抓取目标的 text 是否都全部选中了。多尝试。
必须练习
1 孰能生巧 是精通一项技能型知识 永不变的秘诀
2 最低要求:练到 不用看教程步骤,就能将全部课程里的例子抓取成功。
3 课程内的例子没有达到最低要求,不要抓课程之外的网站。
4 练习的时候,一定要按照教程步骤,不要想当然!!!