大數(shù)據(jù)工程師的工作就是挖掘、分析、處理數(shù)據(jù),挖掘客戶、提供各種各樣的數(shù)據(jù)服務(wù),優(yōu)化公司的數(shù)據(jù)產(chǎn)品體驗(yàn),等等,通過各種分析手段對(duì)公司的數(shù)據(jù)進(jìn)行分析,對(duì)公司的各項(xiàng)數(shù)據(jù)進(jìn)行分析,發(fā)現(xiàn)公司的一些問題和優(yōu)化計(jì)劃,制定公司網(wǎng)絡(luò)的網(wǎng)絡(luò)標(biāo)準(zhǔn)化。
1.大數(shù)據(jù)工程師工作內(nèi)容
1、負(fù)責(zé)公司大數(shù)據(jù)接入平臺(tái),例如管理ZooKeeper、ETL組件等,Kafka、Redis、HDFS、MapReduce、Hive等,協(xié)助維護(hù)、開發(fā)能夠持續(xù)的工具和技術(shù)人員實(shí)現(xiàn)持續(xù)的自動(dòng)化運(yùn)維。2、熟悉機(jī)器學(xué)習(xí)算法的原理和設(shè)計(jì)原理,熟悉高可用、高性能、可擴(kuò)展的資源配置,如文本挖掘、圖像識(shí)別、特征提取、情感分析、信用評(píng)估等。3、負(fù)責(zé)對(duì)業(yè)務(wù)系統(tǒng)的整體規(guī)劃、設(shè)計(jì)和維護(hù);以及制定高級(jí)報(bào)表的實(shí)施,架設(shè)和性能優(yōu)化,以指導(dǎo)公司的整體解決方案。4、負(fù)責(zé)整個(gè)組織的技術(shù)架構(gòu),如Flume、Kafka、Spark、ElasticSearch,或iBFT等。5、在公司的工作職責(zé):獨(dú)立完成對(duì)業(yè)務(wù)系統(tǒng)的整體架構(gòu)設(shè)計(jì),如ElasticSearch,或iSearch、BASE,OSS企業(yè)級(jí)或DB2/Python,CI/Scala,Python,Erlang,Kotlinux等;熟悉消息中間件,如Activry,RabbitMQ/Kafka等;數(shù)據(jù)庫系統(tǒng),需要關(guān)注,開源非關(guān)系數(shù)據(jù)庫,如MongoDB,PostgreSQL,Python等;分析平臺(tái)的設(shè)計(jì),需要重點(diǎn)關(guān)注，有Maven和Kafka,消息中間件,需要重點(diǎn)關(guān)注;高可用性,平臺(tái)模塊,如Activiti,FastDFS等;以上均會(huì)中涉及到的點(diǎn);圖形庫,圖形庫,AI等;人工智能,AI,AI,ROML,ECMA,CrPP, WEB,AI等
2.大數(shù)據(jù)工程師掌握內(nèi)容
有了錦上添花的經(jīng)驗(yàn),如數(shù)據(jù)模型,流型計(jì)算,TimeIQ,Tiny 等;更多是一些高級(jí)開發(fā),建筑類開發(fā),可謂是高級(jí)開發(fā),持續(xù)集成,敏捷開發(fā),質(zhì)量管理,成本管理等。這些都是高級(jí)開發(fā),目前在國(guó)內(nèi)開發(fā)也都是在標(biāo)配了解的。學(xué)習(xí)數(shù)據(jù)分析和人工智能之后,要具備使用數(shù)據(jù)可視化工具,如Pytorch,Spark,MLlib等;數(shù)據(jù)庫原理,SQL語言,SQL語言,還有很多深度學(xué)習(xí)的東西。如T-SQL,NoSQL,PostgreSQL,DB2等;分析,建模語言,Python實(shí)現(xiàn),Spark,Ruby,JavaSpark,Python,MlibMeans等。