岗位职责

1、 负责大数据应用平台底层框架的整体架构设计
2、搭建分布式的海量数据处理平台，提取关键特征，建立数据模型，提升数据质量；
3、负责大数据项目的开发、维护工作
4、负责大数据平台各组件的性能优化工作

岗位要求

1、熟悉Hadoop、Spark、ElasticSearch、Kafka等框架组件，深刻理解分布式数据处理技术原理
2、熟练掌握Java、Scala；具有Spark数据离线或实时计算的相关经验
3、熟悉Linux系统，了解Shell脚本语言
4、具有较强的学习能力，有团队观念，能独立解决问题
5、具有以下经验者优先：
1）有海量数据存储及分析处理项目经验者
2）具有数理统计、机器学习、自然语言处理背景知识及算法者