招聘&找人【Python/爬虫/搜索】【AI产品】【25K】数据工程师

岗位职责

1. 负责公司数据采集系统的设计、开发和维护
2. 构建和优化分布式爬虫架构，实现高效的数据采集
3. 设计并实施数据清洗流程，确保数据质量
4. 参与搜索系统开发，优化用户检索体验
5. 协助开发和维护数据处理管道

任职要求

1. 技术能力：
   • 精通Python，具备3年以上相关开发经验
   • 熟练掌握分布式爬虫框架（如Scrapy、Crawlab等）
   • 熟悉Elasticsearch，具备搜索系统开发经验
   • 了解大语言模型应用，能够运用LLM进行数据处理
2. 专业技能：
   • 具备反爬虫对抗经验，熟悉常见的网页结构和数据提取方法
   • 精通数据清洗和转换技术
   • 熟练使用各类数据库系统
3. 其他要求：
   • 本科及以上学历，计算机相关专业优先
   • 良好的问题分析和解决能力
   • 具备团队协作精神，良好的沟通能力

工作地点：深圳前海 坐班
团队已经有融资，资源丰富，AI产品，在现有场景下深化行业落地，需要能尽快入职上手干活的开发。前期要有抗压准备。只要坐班全职！！！