爬虫 web scraper 爬取 抓取数据 笔记 十 抓取大 V 历史微博

实例：李笑来微博（向下滑动鼠标加载更多）

https://weibo.com/bylixiaolai?refer_flag=1001030101_&ssl_rnd=1509760362.444&is_hot=1

步骤（通用！！！）

1、打开 web scraper

2、创建 sitemap

3、设置 selector （抓取规则）

4、启动抓取程序

5、导出 excel 到本地电脑

只展示重点内容

3、设置 selector （抓取规则）

4、启动抓取程序……

Element scroll down 也是 Element（结构体）

只是多了一个鼠标自动下拉的功能

所以，如果要用它抓取数据，也需要创建一个子选择器

Element scroll down 抓取的是单页，如果要抓取多页：结合规律分页

必须登录才能抓取1页之后的页

https://weibo.com/bylixiaolai?is_search=0&visible=0&is_hot=1&is_tag=0&profile_ftype=1&page=1#feedtop

https://weibo.com/bylixiaolai?is_search=0&visible=0&is_hot=1&is_tag=0&profile_ftype=1&page=[1-3]#feedtop