爬虫 web scraper 爬取 抓取数据 笔记 十 抓取大 V 历史微博

实例:李笑来微博(向下滑动鼠标加载更多

https://weibo.com/bylixiaolai?refer_flag=1001030101_&ssl_rnd=1509760362.444&is_hot=1

步骤(通用!!!

1、打开 web scraper

2、创建 sitemap

3、设置 selector (抓取规则)

4、启动抓取程序

5、导出 excel 到本地电脑


只展示重点内容

3、设置 selector (抓取规则)

4、启动抓取程序……


Element scroll down 也是 Element(结构体)

只是多了一个鼠标自动下拉的功能

所以,如果要用它抓取数据,也需要创建一个子选择器

Element scroll down 抓取的是单页,如果要抓取多页:结合规律分页

必须登录才能抓取1页之后的页

https://weibo.com/bylixiaolai?is_search=0&visible=0&is_hot=1&is_tag=0&profile_ftype=1&page=1#feedtop

https://weibo.com/bylixiaolai?is_search=0&visible=0&is_hot=1&is_tag=0&profile_ftype=1&page=[1-3]#feedtop


发表评论

zh_CNChinese
zh_CNChinese