大數據工程需求處理數據的定義、搜集、核算與保存的作業,因而大數據工程師們在規劃和布置這樣的體系時首要考慮的是數據高可用的問題,即大數據工程體系需求實時地為下流事務體系或剖析體系供給數據效勞。
我國行業大數據總體發展水平較好,在各行業都有應用。既然大數據的市場規模這么大,在各個領域企業的受重視程度高。那么隨之而來的就是大數據人才的需求量。因為目前大數據行業正在飛速的發展,企業也已經看到了大數據人才對公司的重要性。因為行業極缺人才,所以掌握好相關技能,找到一份好工作是不難的。而自從“互聯網+”這一概念以來,政府越來越重視互聯網行業及傳統行業和互聯網的融合,行業的發展肯定會需要更多的人才。并且互聯網的技術崗位分分鐘月薪過萬。
1、 掌握至少一種數據庫開發技術:Oracle、Teradata、DB2、Mysql等,靈活運用SQL實現海量數據ETL加工處理
2、 熟悉Linux系統常規shell處理命令,靈活運用shell做的文本處理和系統操作
3、 有從事分布式數據存儲與計算平臺應用開發經驗,熟悉Hadoop生態相關技術并有相關實踐經驗著優先,重點考察Hdfs、Mapreduce、Hive、Hbase
4、 熟練掌握一門或多門編程語言,并有大型項目建設經驗者優先,重點考察Java、Python、Perl
5、 熟悉數據倉庫領域知識和技能者優先,包括但不局限于:元數據管理、數據開發測試工具與方法、數據質量、主數據管理
6、 掌握實時流計算技術,有storm開發經驗者優先
定義:從事大數據采集、清洗、分析、治理、挖掘等技術研究,并加以利用、管理、維護和服務的工程技術人員。
主要工作任務:
1.研究和開發大數據采集、清洗、存儲及管理、分析及挖掘、展現及應用等有關技術;
2.研究、應用大數據平臺體系架構、技術和標準;
3.設計、開發、集成、測試大數據軟硬件系統;
4.大數據采集、清洗、建模與分析;
5.管理、維護并保障大數據系統穩定運行;
6.監控、管理和保障大數據安全;
7.提供大數據的技術咨詢和技術服務。