公司为硅谷初创企业，团队成员有上市公司高管和Meta, Google 技术主管、工作经验，创始人毕业于北京大学、卡耐基梅隆、哥伦比亚大学。项目涉及GenAI和LLM，上升空间巨大。日常工作氛围融洽，福利优渥。欢迎自驱力强的朋友加入我们的团队。

岗位职责：

1. 两年以上爬虫开发经验，精通常用的爬虫技术及架构，并能快速实现；
2. 精通 Python/Go/Java 中的一种或多种，熟悉常用的数据存储（ES、NoSQL、MySQL 等）；
3. 熟悉主流爬取技术及工具，熟练使用 Selenium/Puppeteer/Scrapy/Splash/PhantomJS 等至少一种工具；
4. 熟悉 HTTP/TCP 协议，熟悉 Fiddler/Charles/BurpSuite/TCPDump/Wireshark/Mitmproxy 等至少一种网络分析工具；
5. 有较丰富反爬实践经验，能解决图片验证码/滑块/账号限制/IP 限制等问题；
6. 良好的代码习惯，结构清晰，命名规范，逻辑性强，代码冗余率低；
7. 强烈的自我驱动，学习能力强，做事完成度高。

加分项：

1. 有国外短视频、视频、小说、漫画内容平台或其他社媒平台爬虫经验优先；
2. 有大规模爬虫及风控对抗实践经验优先；
3. 有 App 逆向经验，熟悉 Xposed 框架、常见 Hook技术，熟悉 Smali、Dedexer、Dexdump、Apktool、Dex2jar、IDA、OLLYDBG 等至少一种；

任职要求：

1. 两年以上爬虫开发经验，精通常用的爬虫技术及架构，并能快速实现；
2. 熟悉使用ChatGPT等AI生产力工具，并能利用这些工具快速掌握新的技术栈；
3. 具备bash脚本或其他批处理脚本编写经验，以及独立开发通用爬虫框架的能力；
4. 具有丰富的网络爬虫开发经验，熟悉Web，App抓取原理及技术，熟悉常用的爬虫网络框架及重要组件；
5. 有过大规模图像视频数据抓取，爬虫平台化建设经验优先，有使用GCP的经验者优先；

我们提供：

1. 远程工作机会
2. 20K-30K RMB/月全职薪资
3. 与国际团队合作的机会
4. 不断学习和成长的环境