招聘爬取中国土地交易网土地出让数据【原来找的老哥爬不了，重新找人】

1.爬取对象

土地供应（链接如下）栏目下除了供地计划以外7个栏目的所有数据

http://www.landchina.com/default.aspx?tabid=263&wmguid=75c72564-ffd9-426a-954b-8ac2df0903b7&p=

2.数据量

栏目 数量/页

出让公告（2011年后） 14675

出让公告（2011年前） 3904

地块公示 36989

结果公告 85248

市场交易

土地转让 27544

土地出租 468

土地抵押 13419

房地产大企业购地情况 49

房地产大地块出让情况 10

合计 182306

按照每页30条计算，总数据量为182306*30= 5469180条

3.爬取过程

（1）点击每页下的标题，下探到内容页，内容也只需爬取表格。爬取完一个栏目后，爬取另一个栏目。

（2）所有数据爬取玩以后，按照地块的位置，如上图中的“宗地坐落”，调用高德地图或百度地图API，批量拾取经纬度。

（3）数据存储格式;CSV

（4）爬取时间：7-14天

（5）费用：5000，本人有长期数据爬取需求，希望长期合作

（6）支付方式：先试爬2010年的，并匹配上坐标，如果可行，按照40%、30%、30%的工作进度支付。

4.需要解决的难点

（1）每个栏目只显示200页，需要解决200页以后的问题。所以需要试爬2010年的，检验承接人是否具备这个能力；

（2）需要调用匹配百度/高德地图API批量拾取坐标

（3）政府网站，网页慢，爬取速度慢，需要多机器同时爬，还不能把网站弄崩溃