工作内容:
1、负责海量数据的爬取、清洗、解析、入库;
2、负责破解各类反爬机制;
3、不断提升数据抓取系统的自动化水平。
任职要求:
工作年限:3-5年
1、熟悉多线程、网络编程,精通网页抓取原理及技术的实现细节;
2、熟悉基于规则的网页信息抽取,精通正则表达式;
3、从结构化的和非结构化的数据中获取信息,对网页数据抓取、信息提取、去重、清洗有一定经验;
4、 攻坚能力强,能迅速独立解决网站反扒策略更新等问题;
5、精通Python,熟悉go语言优先;
6、 有较强的工作责任心和良好的沟通协同能力。
经验加分项:
良好的产品思维、能够从客户实际需求出发实际产品,
提供一流的体验、远程团队工作经验
有 golang 语言生产环境的项目经验、分布式系统运维经验
有过SEO经验优先
薪资待遇:开放优厚的福利待遇
招聘类型:
组队合伙
职业:
开发
工作方式:
远程工作