工作内容:
1、负责海量数据的爬取、清洗、解析、入库;
2、负责破解各类反爬机制;
3、不断提升数据抓取系统的自动化水平。
任职要求:
1、熟悉多线程、网络编程,精通网页抓取原理及技术的实现细节;
2、熟悉基于规则的网页信息抽取,精通正则表达式;
3、从结构化的和非结构化的数据中获取信息,对网页数据抓取、信息提取、去重、清洗有一定经验;
4、 攻坚能力强,能迅速独立解决网站反扒策略更新等问题;
5、精通Python,了解pytohn语言的各种机制;
6、 有较强的工作责任心和良好的沟通协同能力。
加分项:
2. 远程团队工作经验
3. 有 golang 语言生产环境的项目经验
4. 有分布式系统运维经验
5. 有过SEO经验
薪资待遇:开放优厚的福利待遇,请联系我详谈
招聘类型:
企业直招
职业:
开发
工作方式:
远程工作
看着不错 帮顶
反扒好难
不错的机会,虽然难度很大
爬虫越来越不好干了,还有风险,之前干过一年
最近前端的岗位好少
抓取需谨慎