岗位职责:
1. 负责网络爬虫系统平台的架构设计与开发,完善和重构现有采集系统及服务(如分布式爬取, 抓取调度,多样化抓取,页面解析和结构化抽
取);
2. 设计和开发爬虫的监控和报警系统,提高问题发现能力;