爬虫 web scraper 爬取 抓取数据 笔记 八 租房&网购比价,成为省钱大利器

实例:统计58同城房屋信息

http://bj.58.com/chuzu/?key=%E7%A7%9F%E6%88%BF&cmcskey=%E7%A7%9F%E6%88%BF&final=1&jump=1&specialtype=gls

步骤(通用!!!

1、打开 web scraper

2、创建 sitemap

3、设置 selector (抓取规则)

4、启动抓取程序

5、导出 excel 到本地电脑



1、打开 web scraper


2、创建 sitemap


3、设置 selector (抓取规则)

创建父选择器

创建子选择器

点击 “Select” 之后,黄色区域自动被选中。这是因为我们是在 house 下建立子选择器,而 house 在第一步已经被确定为黄色区域。

创建其余四个子选择器,步骤和第一个一样


4、启动抓取程序


5、导出 excel 到本地电脑

结果与网页不一致,网页的数据为实时变动的。


selector graph :选择器树

Element 选择器

使用 Element 选择器抓取数据,必须创建对应的子选择器

发表评论

zh_CNChinese
zh_CNChinese