职责描述
职位描述
1、参与爬虫项目的架构设计、研发、编程工作,改进和提升爬虫效率;
2、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量;
3、负责网页采集任务的分析及采集方案设计;
4、负责分布式爬虫策略持续优化。
任职要求
1、
熟悉Java、Python、Shell、R 等至少一门语言
;
2、
负责分析并采集网站数据,并按照要求对采集的数据进行整理;
3、
具有较强的业务分析能力,较好的沟通表达和综合协调能力;
4、责任心强,有快速学习能力,对大数据方向感兴趣。
福利
大数据行业 热门商圈 弹性工作 远程工作