爬虫 web scraper 爬取 抓取数据 笔记 三 使用

以下步骤,需要在浏览器网页内操作!

1、鼠标右键 —> 审查元素 (或检查)

Chrome 使用方法

实例:知乎大V张佳玮⽂章主⻚

https://www.zhihu.com/people/zhang-jia-wei/posts

步骤(通用!!!

1、打开 web scraper

2、创建 sitemap

3、设置 selector (抓取规则)

4、启动抓取程序

5、到处 excel 到本地电脑

1、抓取窗口可以最小化,但是不能关闭!

2、可以同时启动多个抓取程序

导出数据到本地电脑

1、web-scraper-order : 用于排序

2、web-scraper-start-url : start url

3、title : selector id

注:如果抓取的数据不对,重新进行抓取,在进行选择的时候,要查看抓取目标的 text 是否都全部选中了。多尝试。


必须练习

1 孰能生巧 是精通一项技能型知识 永不变的秘诀

2 最低要求:练到 不用看教程步骤,就能将全部课程里的例子抓取成功

3 课程内的例子没有达到最低要求,不要抓课程之外的网站

4 练习的时候,一定要按照教程步骤,不要想当然!!!

发表评论

zh_CNChinese
zh_CNChinese