理聘网-职位详情页，大数据平台开发工程师（20~35W）

岗位职责： 1.面向智慧城市及智慧交通，参与大数据处理平台搭建、架构迭代和研发，参与数据仓库模型设计，数据库分布式部署等工作； 2.结合智慧城市业务场景，进行大数据离线与实时计算、数据清洗、数据安全、机器学习等平台的设计和开发，配合团队进行大数据特征提取并行处理方法研究； 3.参与开发分布式集群系统和优化并行算法，优化大数据处理平台集群，保证集群和平台的高效、稳定，支撑智慧城市大数据场景落地； 4.面向系统性交通资源优化与配置问题，配合团队开发智慧交通智能算法，针对海量、高并发、杂乱、不规则的交通流、车联网数据，应用机器学习分析数据库，运用并行化矩阵数组方法处理非结构化矩阵数据，进行交通状况时序预测，提炼有效规则指导城市及交通管理。 任职要求： 1.硕士或以上学历，具有一定的数据仓库及数据平台的架构经验，精通数据参考建模及ETL设计开发，了解数据湖/数据仓库方法论，熟练掌握至少一种分布式计算框架，理解其架构和工作原理； 2.熟悉开源大数据生态，熟练掌握大数据技术栈，包括Hadoop，Hive，Spark，HBase，Cassandra，Kafka，flink等技术框架； 3.精通JAVA，熟悉Spring全家桶、jpa等开源框架，熟悉Python、Shell等其中一种； 4.具备较扎实数学功底，有一定数据分析和挖掘能力，能从海量数据提炼核心结果，对数据进行多线程并发执行处理，分析隐含变化和问题。