职责描述
(岗位急招,需在深圳且随时能入职)
工作职责:
1. 协助开发与维护网络爬虫程序,抓取结构化数据。
2. 参与应对反爬虫机制(如验证码、IP限制等),保证爬虫的稳定运行。
3. 对抓取的数据进行清洗、去重和处理,并存入数据库。
4. 协助监控爬虫任务状态,编写相关技术文档。
任职要求:
1. 计算机相关专业在校生,熟练掌握 Python编程。
2. 了解网络爬虫基本原理,熟悉 HTTP协议、HTML、JSON。
3. 有使用 Requests, BeautifulSoup, Scrapy 等任一爬虫库/框架的经验。
4. 了解 MySQL, MongoDB, Redis等至少一种数据库。
5. 具备良好的学习能力和责任心,能积极解决问题。
*加分项:
1.有个人爬虫项目(电商)经验。
2.了解分布式爬虫或反爬虫应对策略。