logo

招聘招聘高级爬虫工程师 15k-20k

头像
打工人
62阅读2评论8 个月前

技能要求:

Python,JS

职位描述

1、负责各类网站和App端数据抓取和平台搭建;

2、负责对爬取数据进行分类和解析;

3、负责开发高性能抓取架构,支持业务发展;

4、参与爬虫项目的架构设计、研发、编程工作,改进和提升爬虫效率;

5、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量;

6、负责后台爬虫数据的分布式存储设计以及代码实现;

7、负责分布式爬虫策略持续优化;

任职要求

1、2年+爬虫经验,至少熟练掌握Python/Go/JS其中一种语言

2、熟悉PC端、移动端数据抓取(有逆向、脱壳等经验),掌握Apktool、Dex2jar、JD-GUI等工具,抓取过主流电商平台和主流App软件;

3、熟悉目前主流的一些爬虫框架

4、有解决复杂的反爬限制实践经验,能解决如图片验证码/滑块/账号限制/ip限制等问题。

5、熟悉Linux平台,熟练掌握Java或Python爬虫框架,熟悉Shell、HTTP协议、HTML、DOM、XPath,掌握Git、Maven、SVN等工具和实践,注重工程规范;

6、具有分布式爬虫开发经验,熟悉浏览器内核,有cef、webkit开发经验更佳;

7.具备丰富的逆向工程经验,尤其在Android、iOS平台的逆向工程经验。有成功逆向过复杂软件数据结构、功能、算法的经历;

8、性格开朗、善于沟通,有良好的自我驱动学习能力,注重效率和团队意识

招聘类型:
企业招聘
专业领域:
开发
工作方式:
远程工作
城市:
上海
需消耗电量 5
加载中…
精选评论
头像
8 个月前Bender

请问 能透漏一下公司名称吗😊 ?

头像

您好,工作还有在看吗