1负责设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析工作;
2负责网页信息和APP数据抽取、清洗、消重等工作,提升平台的抓取效率;
3参与爬虫核心算法和策略优化,熟悉采集系统的调度策略;
4实时监控爬虫进度和预警处理。
任职要求:
1大学本科及以上学历,计算机相关专业,基础扎实;
2 2-3年 python 爬虫相关经验,具备分布式爬虫经验,熟悉 python 常用库;
3熟练掌握 html、css、xpath、正则表达式、scrapy、selenium、消息队列;
4深入了解 HTTP,TCP/IP 网络协议;
5熟练使用 Linux、 postgre、Redis、MongoDB;
6熟悉常见的反爬策略,有一定的研究和解决问题的能力;
7具备良好的沟通能力和团队协作精神;具备良好的编码习惯和撰写技术文档能力
公司是上海这边的一个数据咨询公司,目前技术部都是远程工作状态,90%远程状态,正常五险一金,不错的坑位,欢迎发简历给我邮箱。
招聘类型:
员工内推
职业:
开发
工作方式:
远程工作
城市:
上海
前排观望一下,最近在找python相关远程
你好,爬虫远程还在招聘吗?还在招的话,我可以发简历到你的邮箱