岗位职责:
1.负责公司整个数据中台的规划、实施、演进工作;能用大数据思维设计解决方案;
2.负责公司数据中台(数据仓库/数据集市)的设计和开发制定数据架构规范,进行核心代码编写,指导团队落地;
3.负责数据中台项目实施指导,精通ETL架构设计、元数据、数据规范的建设和管理,梳理数据资产,提高业务系统的数据质量;
4.负责公司数据安全管理,建立数据安全规范,进行数据安全检查与审核;
5.研究数据模型和计算框架的创新与落地,包括:大规模数据实时化、数据模型规范化等方面参与制定并实践团队的技术发展路线;
建立良好的公司内外的业界技术影响力;参与培养未来数据人才;有效辅导团队,提升数据研发能力。
任职资格:
1.本科以上学历,5年以上开发经验,其中3年以上数据架构或相关工作经验;
2.深刻了解Hadoop生态圈技术体系,对离线计算、内存计算和流式计算均有深刻理解,如Hadoop、hive、Spark、Flink、Kafka、presto等,有开源二次开发经验者优先,有过大规模交易实时计算经验者优先;
3.精通实时数据仓库设计,深刻理解MR运行原理和机制,能进行任务执行效率的优化,熟悉开源数据交换工具如sqoop,streamset,kettle等;
4.熟悉elasticsearch、Lucene、Solr、Kylin、Phoenix、Alluxio等相关技术;
5.性格积极乐观,诚信,能自我驱动,有较强的语言表达能力;具备强烈的进取心、求知欲及团队合作精神;具有良好的沟通、团队协作、计划和创新的能力;
6、满足以下一个或多个条件者优先
a) 熟悉至少一种主流深度学习算法框架 包括但不限于Caffe Tensorflow Theano Keras等;
b) 熟悉机器学习的主流常用算法,包括但不限于R(caret)、python(Scikit-learn)、spark-ml等;
c) 熟悉hadoop和spark等大数据技术和处理框架;
d) 熟悉交通行业业务者优先。
e) 熟悉数据挖掘和建模流程,有相关行业数据挖掘分析的经验者优先;