- 标签:大数据开发工程师招聘
- 学历: 本科
- 公司性质: 民营公司
- 所在行业: 电子商务
- 行业:互联网+
耳序欢迎最新从事过大数据开发工程师等行业的优秀人才加入我们,上海耳序信息技术有限公司将为您提供广阔的发展平台!
工作职责:
1. 基于维度建模和分层架构理论,设计符合业务场景需要的主题域,平衡计算和存储资源,建设高效,易用,通用的数据仓库与数据集市;
2. 参与仓湖一体建设,基于数据湖技术、离线与实时技术完成各类实时、准实时和T+1的任务开发。
3. 日常与数据源研发,数据使用方沟通协作,及时完成各类数据入仓;熟练运用oneData理论,打通数据孤岛,建设数据中台向各业务交叉赋能。
4. 研究最新的数据开发理论和实践,并在团队中实验和落地;
5. 带领团队安排人员完成日常工作,参与项目需求评审、开发测试上线过程,收集和分析团队成员面临的问题,提高人效与交付质量,完善绩效管理并参与绩效考评。
6. 完善团队知识体系,带领团队完成能力提升。
要求:
1. ***本科及以上学历,计算机、软件工程等相关专业;
2. 6年以上大数据开发、3年以上数据架构、2年以上数据团队管理经验。有2年以上Flink任务开发经验。
3. 有超PB级别大数据处理实战经验,熟悉整个大数据的完整处理流程,优秀的问题解决能力
4. 精通Java/Scala语言,熟练掌握主流的Java框架,包括Spring、Netty、Mybatis、Guava等等,了解JVM的基本实现原理,有大型后台系统开发经验优先;
5. 精通Kafka、Elasticsearch、Hbase、Kudu等大数据组件;
6. 深入了解Flink基本原理,熟练使用Flink基本算子,State、多流join、FlinkSql,能够自主开发connector及udf;
7. 熟悉Hadoop生态技术,熟练使用hive, spark;熟悉维度建模与数据分层架构,能够独立设计高效易用的数据仓库;
8. 有Hudi,Iceberg数据湖等相关开发经验优先;
9. 有开源开源大数据开发平台使用经验者优先;
10. 扎实的计算机基础和算法数据结构功底,对技术有热情,愿意不断尝试新技术和业务挑战。