爬虫工程师岗位职责21篇 1、负责网络爬虫系统的设计与开发2、对爬取的网页信息进行数据抽取，清洗和去重等工作1、2年及以上网络爬虫开发经验，本科及大专学历，计算机相关专业，2、积极、沟通顺畅，工作认真负责3、扎实的编程能力，熟悉常用算法和数据结构等基础知识4、熟练掌握开发语言java或c/c++，熟悉脚本语言和正则表达式1、开发网页自动化脚本。2、负责商品信息结构化，编写自动化脚本解析网页信息。3、商品索引系统：亿级sku的库存价格实时跟踪同步，并对商品进行智能分类、本地化、图片处理和去重。4、设计、
