1、負(fù)責(zé)Hadoop大數(shù)據(jù)平臺各類數(shù)據(jù)業(yè)務(wù)抽象及模型化；
2、負(fù)責(zé)數(shù)據(jù)倉庫ETL設(shè)計、開發(fā)及自動化工作；
3、負(fù)責(zé)Spark的功能擴展和性能優(yōu)化，使用海量數(shù)據(jù)解決并實現(xiàn)業(yè)務(wù)需求；
4、設(shè)計或配合算法工程師實現(xiàn)算法，解決實體識別、情感分析等相關(guān)問題；
5、使用Hive、Spark進行數(shù)據(jù)處理，協(xié)助建立數(shù)據(jù)模型。

專業(yè)/學(xué)歷:

1、本科及以上學(xué)歷，精通SQL，精通Java、scala，Python其中至少一門語言；
2、熟悉數(shù)據(jù)庫數(shù)據(jù)倉庫設(shè)計 ；
3、熟悉Hive、Spark、Spark SQL、SparkStreaming、kafka、Flume、Sqoop、hdfs，HBase等；
4、熟悉linux開發(fā)環(huán)境，掌握shell編程 。