- 标签:Python开发工程师招聘
- 学历: 大专
- 公司性质: 民营公司
- 所在行业: 计算机软件
- 行业:软件
鹏越惊虹欢迎最新从事过Python开发工程师等行业的优秀人才加入我们,上海鹏越惊虹信息技术发展有限公司将为您提供广阔的发展平台!
岗位职责:
1、 能够使用 Python 进行网页、app等数据采集,进行数据的抓取、清洗、结构化、入库等工作;
2、搭建数据采集体系,构建数据结果展示体系,供行业分析师进行报告的撰写支撑;
3、参照数据体系,整理底层各种结构化和非结构化数据源,进行标准化清洗和建模,建立数据标准化。
任职要求:
1.统招专科及以上学历,工作经验3年及以上,2年及以上爬虫、反爬虫研发经验;
2.精通python开发,熟练使用scrapy开源爬虫框架;
3.熟悉多线程、网络编程以及分布式爬虫架构开发场景;
4.熟悉MYSQL/mongodb数据库的常规使用;
5.熟悉Kafka、Hadoop等常见大数据中间件使用;
6.熟练使用模拟登陆、UA池、动态代理、IP池等常规伪装手段;
7.熟悉常规反爬虫手段以及常见的解决方案,有一定的逆向工程能力;
8.具备C++ GUI开发经验优先考虑;
五险一金 通讯补贴 绩效奖金 年终奖金