1、参与客户需求调研,熟悉业务逻辑及数据源表结构等;
2、参与大数据的架构设计、开发、部署、自动化运维和数据分析等工作;
3、负责大数据采集平台的搭建及相应功能的研发;配置环境及安装数据库,搭建目标数据仓库,进行维度建模;
4、负责大数据处理相应功能的研发;负责源数据全量或增量的抽取、清洗、转换、加载等功能的实现;根据数据分析模型或可视化需求,编写存储过程对数据进行加工汇总等;
5、负责解决大数据相关疑难技术问题及新技术的跟踪。
任职要求
1、数学、电气工程、工业自动化、计算机、通讯或物联网相关专业,3年以上相关工作经验;
2、精通Java/Scala/Python/等至少一门开发语言;熟悉Linux开发环境,良好的系统编程、算法基础、系统设计能力;
3、熟练掌握大数据相关技术Hadoop、Spark、Zookeeper、Flume、Kafka等,并有实际项目经验;了解结构化数据与非结构化数据处理方法;有集群经验者优先;
4、熟悉数据开发及周边相关数据库系统Hive、Redis等;熟悉异构数据库间的增量获取方式和数据同步方式;
5、精通数据仓库模型,能够熟练进行事实表、维度表、汇总表的建模,具备大型数据仓库开发实际经验;有海量数据分布式存储/实时计算开发经验者优先;
6、具备良好的沟通能力,做事认真、仔细,具有团队协作能力。
Copyright sciencehr.cn Corporation. All rights reserved. 中国科学人才网 版权所有 京ICP备2022022249号-1
地址: EMAIL:850081096@qq.com
Powered by sciencehr.cn