实例:李笑来微博(向下滑动鼠标加载更多)
https://weibo.com/bylixiaolai?refer_flag=1001030101_&ssl_rnd=1509760362.444&is_hot=1
步骤(通用!!!)
1、打开 web scraper
2、创建 sitemap
3、设置 selector (抓取规则)
4、启动抓取程序
5、导出 excel 到本地电脑
只展示重点内容
3、设置 selector (抓取规则)
4、启动抓取程序……
Element scroll down 也是 Element(结构体)
只是多了一个鼠标自动下拉的功能
所以,如果要用它抓取数据,也需要创建一个子选择器
Element scroll down 抓取的是单页,如果要抓取多页:结合规律分页
必须登录才能抓取1页之后的页
https://weibo.com/bylixiaolai?is_search=0&visible=0&is_hot=1&is_tag=0&profile_ftype=1&page=1#feedtop
https://weibo.com/bylixiaolai?is_search=0&visible=0&is_hot=1&is_tag=0&profile_ftype=1&page=[1-3]#feedtop