岗位职责:
1.负责研究城市治理数据及数据挖掘算法,并将算法应用到实际模型中
2.建立统计分析模型,通过数据挖掘与机器学习,深入理解用户与各类内容,建立有效的用户和内容之间的管道;
3.负责系统的特征提取,建立模型,进行聚类,分类分析,实现应用的智能定制
4.负责数据流式计算、数据清洗、数据接入、治理工作;
5.负责将治理后的数据按照不同需求写入相应的大数据库中。
任职要求:
1.精通主流机器学习算法,如决策树、逻辑回归、关联分析、GBDT、贝叶斯、随机森林、SVM、人工神经网络等,具备深厚的数学和统计学基础,能够进行数学建模和分析;
2.熟练掌握Shell/Python/Java/Scala语声的一种或多种;
3.精通Hadoop、Storm、Spark、Flume、Kafka、ES等组件的原理,精通分布式系统开发,数据仓库技术:
4.对Hadoop平台架构能够不断优化,提升数据产品的质量和响应速度;
5.熟练掌握HDFS/ES/Hive/spark实时处理、离线分析技术;
6.强烈的责任心与求知欲,对技术有极大的热情,有良好的沟通能力。