主要職責(zé)：
1、負(fù)責(zé)各種數(shù)據(jù)的采集清洗整合；
2、負(fù)責(zé)大數(shù)據(jù)項(xiàng)目的開發(fā)和維護(hù)；
3、負(fù)責(zé)hadoop相關(guān)組件的性能優(yōu)化。

技能要求：
1、至少熟練使用java或scala中一種；
2、熟悉hadoop生態(tài)圈，對每個(gè)hadoop組件都能夠了解：hdfs、yarn、hive、spark、es、kafka、spark；
3、具有大數(shù)據(jù)開發(fā)工作經(jīng)驗(yàn)（具備處理TB級別數(shù)據(jù)處理計(jì)算經(jīng)驗(yàn)優(yōu)先）；
4、熟練使用一種流處理引擎Sparkstreaming或Flink，快速完成大數(shù)據(jù)計(jì)算開發(fā)工作；
5、了解linux系統(tǒng)，及shell編程.