大數(shù)據(jù)是一系列技術(shù)的統(tǒng)稱,經(jīng)過多年的發(fā)展,大數(shù)據(jù)已經(jīng)形成了從數(shù)據(jù)采集、整理、傳輸、存儲、安全、分析、呈現(xiàn)和應(yīng)用等一系列環(huán)節(jié)。
零基礎(chǔ)學(xué)習(xí)大數(shù)據(jù)。如果你想學(xué)習(xí)這個最后找工作,我希望你慎重考慮。
一,如果你是計(jì)算機(jī)專業(yè)的,不管畢業(yè)與否,自學(xué)這個,比較好入門,并且以后找工作也算是專業(yè)對口。
二,如果你不是計(jì)算機(jī)專業(yè),并且已經(jīng)大學(xué)畢業(yè)了,自學(xué)就很費(fèi)勁了,也更費(fèi)時間,你沒有一個詳細(xì)的學(xué)習(xí)規(guī)劃簡直太浪費(fèi)時間精力,最好是能報(bào)個班,有個系統(tǒng)的學(xué)習(xí)規(guī)劃要比一個人在家里啃書自學(xué)強(qiáng)的多。
大數(shù)據(jù)前景很好,目前國內(nèi)大數(shù)據(jù)人才缺乏,大數(shù)據(jù)的應(yīng)用十分廣泛,大數(shù)據(jù)不僅包括企業(yè)內(nèi)部應(yīng)用系統(tǒng)的數(shù)據(jù)分析,還包括與行業(yè)、產(chǎn)業(yè)的深度融合。
每個城市所存在的機(jī)構(gòu)都不一樣。最好選擇覆蓋地區(qū)廣的,比較權(quán)威的培訓(xùn)機(jī)構(gòu)。大數(shù)據(jù)的專業(yè)要求很高。目前敢培訓(xùn)大數(shù)據(jù)的學(xué)校都是具備一定專業(yè)性的,主要看看是否能提供真實(shí)的案例來供學(xué)生們分析來進(jìn)行專業(yè)性的判斷。多看看網(wǎng)絡(luò)上的口碑。現(xiàn)在的培訓(xùn)費(fèi)用都很高,基本在1-2W之間,大數(shù)據(jù)會更貴一點(diǎn),1.5W-2.5W。培訓(xùn)行業(yè)普遍都這個價,包括孩子的家教費(fèi)用也無敵,你懂得。
如果自學(xué)的話,就要選好學(xué)習(xí)資料,最好身邊有一個懂一些技術(shù)的可以幫助指導(dǎo)。有毅力堅(jiān)持下去。以下給你一些方向。
需要掌握的專業(yè)技術(shù):
堅(jiān)實(shí)的Java技術(shù)作為基礎(chǔ)支持,之后學(xué)習(xí):Hadoop,大數(shù)據(jù)存儲,大數(shù)據(jù)架構(gòu)設(shè)計(jì),大數(shù)據(jù)實(shí)時計(jì)算,大數(shù)據(jù)數(shù)據(jù)采集,大數(shù)據(jù)商業(yè)實(shí)戰(zhàn)等。
技術(shù)人員就業(yè)方向:大數(shù)據(jù)系統(tǒng)研發(fā)人才,大數(shù)據(jù)應(yīng)用開發(fā)人才和大數(shù)據(jù)分析人才。
第一個問題:大數(shù)據(jù)好不好學(xué)?
總結(jié)了一下幾種情況,供參考。
1.對于有開發(fā)經(jīng)驗(yàn)的同學(xué)來說,學(xué)大數(shù)據(jù)還是比較容易的,比如你現(xiàn)在是做JAVA開發(fā)的,那么你轉(zhuǎn)行大數(shù)據(jù)做JAVA大數(shù)據(jù)開發(fā),只需要把大數(shù)據(jù)框以及相關(guān)大數(shù)據(jù)技術(shù)學(xué)到,再輔以一定的項(xiàng)目練習(xí),基本就可以干活了;如果你現(xiàn)在是做的Python開發(fā),同樣你也只需要學(xué)好大數(shù)據(jù)框架以及相關(guān)技術(shù),再輔以相關(guān)項(xiàng)目就可以從事Python大數(shù)據(jù)開發(fā)了。
2.如果你是零基礎(chǔ),學(xué)習(xí)能力一般,在理解概念會稍微慢一點(diǎn),比如學(xué)到JAVA面向?qū)ο蟮臅r候,這部分同學(xué)就比較懵了,但是只要肯付出,愿意多問,愿意去琢磨,也能得到理想的結(jié)果。
3.零基礎(chǔ)學(xué)習(xí)能力很強(qiáng),比如畢業(yè)于211、985高校,相對來說,學(xué)起來就比較輕松。在我們的大數(shù)據(jù)培訓(xùn)班,50%以上都是這樣的學(xué)生,不得不說,學(xué)習(xí)能力強(qiáng),學(xué)啥都快,不光是編程。
第一種有開發(fā)經(jīng)驗(yàn),他們會去主動學(xué)習(xí);第三種學(xué)習(xí)能力強(qiáng),他們相信自己能學(xué)會。但第二種他們?nèi)狈ψ孕?,也是比較猶豫的一部分人。
三種人中,也以第二種學(xué)生居多。如果想轉(zhuǎn)行,三點(diǎn)建議,可供參考。
1.不要猶豫,先學(xué)。先找學(xué)習(xí)資料,從零開始學(xué),只有你真的開始去學(xué)了,才能知道好不好學(xué)。
2.統(tǒng)招本科學(xué)歷,學(xué)大數(shù)據(jù),找大數(shù)據(jù)開發(fā)工作。目前一線城市的企業(yè),對大數(shù)據(jù)開發(fā)工程師的學(xué)歷要求都是本科。
3.大專學(xué)歷,學(xué)JAVA,找JAVA開發(fā)工作。學(xué)歷不夠,先把JAVA學(xué)好,找一份JAVA開發(fā)工作,如果對大數(shù)據(jù)感興趣,可做2年JAVA開發(fā)后,再轉(zhuǎn)大數(shù)據(jù),用開發(fā)經(jīng)驗(yàn)來彌補(bǔ)學(xué)歷的短板。
希望對你有幫助~
大數(shù)據(jù)聽起來高大上,真正了解大數(shù)據(jù)的2113人都清楚大數(shù)據(jù)行業(yè)是非常辛苦的。大數(shù)據(jù)的內(nèi)容涉及到較多的基礎(chǔ)內(nèi)容,只有把基礎(chǔ)內(nèi)容融會貫通以后,才會往更高一層的數(shù)據(jù)分析師前進(jìn)。
首先,想零基礎(chǔ)學(xué)習(xí)大數(shù)據(jù)分析工5261作,一般最好有個本科的學(xué)歷,大專也行。只是??茖W(xué)歷即4102使掌握了一定的大數(shù)據(jù)分析技術(shù),在就業(yè)市場上的核心競爭力比較低,現(xiàn)在用人單位對于數(shù)據(jù)分析1653的職位的最低要求是本科及以上學(xué)歷。
零基礎(chǔ)學(xué)習(xí)大數(shù)據(jù)分析工作,需要有一定的編程能力,編程能力是可以練習(xí)與提升的。
目前大數(shù)據(jù)行業(yè)對于對于人才的要求也比較全面且嚴(yán)格。對于高級的大數(shù)據(jù)分析人才,會SAS、R、PYTHON三個軟件中的一個或者多個是基礎(chǔ)的要求,回同時要求有一定的數(shù)理統(tǒng)計(jì)基礎(chǔ),這是對專業(yè)知識的要求,懂業(yè)務(wù)、有邏輯答、對數(shù)據(jù)敏感、能夠?qū)懛治鰣?bào)告、用數(shù)據(jù)解決實(shí)際問題,這是對數(shù)據(jù)分析人才的高級要求。
首先我們要了解Java語言和Linux操作系統(tǒng),這兩個是學(xué)習(xí)大數(shù)據(jù)的基礎(chǔ),學(xué)習(xí)的順序不分前后。
Java :只要了解一些基礎(chǔ)即可,做大數(shù)據(jù)不需要很深的Java 技術(shù),學(xué)java SE 就相當(dāng)于有學(xué)習(xí)大數(shù)據(jù)基礎(chǔ)。Linux:因?yàn)榇髷?shù)據(jù)相關(guān)軟件都是在Linux上運(yùn)行的,所以Linux要學(xué)習(xí)的扎實(shí)一些,學(xué)好Linux對你快速掌握大數(shù)據(jù)相關(guān)技術(shù)會有很大的幫助,能讓你更好的理解hadoop、hive、hbase、spark等大數(shù)據(jù)軟件的運(yùn)行環(huán)境和網(wǎng)絡(luò)環(huán)境配置,能少踩很多坑,學(xué)會shell就能看懂腳本這樣能更容易理解和配置大數(shù)據(jù)集群。
還能讓你對以后新出的大數(shù)據(jù)技術(shù)學(xué)習(xí)起來更快。Hadoop:這是現(xiàn)在流行的大數(shù)據(jù)處理平臺幾乎已經(jīng)成為大數(shù)據(jù)的代名詞,所以這個是必學(xué)的。
Hadoop里面包括幾個組件HDFS、MapReduce和YARN,HDFS是存儲數(shù)據(jù)的地方就像我們電腦的硬盤一樣文件都存儲在這個上面,MapReduce是對數(shù)據(jù)進(jìn)行處理計(jì)算的,它有個特點(diǎn)就是不管多大的數(shù)據(jù)只要給它時間它就能把數(shù)據(jù)跑完,但是時間可能不是很快所以它叫數(shù)據(jù)的批處理。Zookeeper:這是個萬金油,安裝Hadoop的HA的時候就會用到它,以后的Hbase也會用到它。
它一般用來存放一些相互協(xié)作的信息,這些信息比較小一般不會超過1M,都是使用它的軟件對它有依賴,對于我們個人來講只需要把它安裝正確,讓它正常的run起來就可以了。Mysql:我們學(xué)習(xí)完大數(shù)據(jù)的處理了,接下來學(xué)習(xí)學(xué)習(xí)小數(shù)據(jù)的處理工具mysql數(shù)據(jù)庫,因?yàn)橐粫bhive的時候要用到,mysql需要掌握到什么層度那?你能在Linux上把它安裝好,運(yùn)行起來,會配置簡單的權(quán)限,修改root的密碼,創(chuàng)建數(shù)據(jù)庫。
這里主要的是學(xué)習(xí)SQL的語法,因?yàn)閔ive的語法和這個非常相似。Sqoop:這個是用于把Mysql里的數(shù)據(jù)導(dǎo)入到Hadoop里的。
當(dāng)然你也可以不用這個,直接把Mysql數(shù)據(jù)表導(dǎo)出成文件再放到HDFS上也是一樣的,當(dāng)然生產(chǎn)環(huán)境中使用要注意Mysql的壓力。Hive:這個東西對于會SQL語法的來說就是神器,它能讓你處理大數(shù)據(jù)變的很簡單,不會再費(fèi)勁的編寫MapReduce程序。
有的人說Pig那?它和Pig差不多掌握一個就可以了。Oozie:既然學(xué)會Hive了,我相信你一定需要這個東西,它可以幫你管理你的Hive或者M(jìn)apReduce、Spark腳本,還能檢查你的程序是否執(zhí)行正確,出錯了給你發(fā)報(bào)警并能幫你重試程序,最重要的是還能幫你配置任務(wù)的依賴關(guān)系。
我相信你一定會喜歡上它的,不然你看著那一大堆腳本,和密密麻麻的crond是不是有種想屎的感覺。Hbase:這是Hadoop生態(tài)體系中的NOSQL數(shù)據(jù)庫,他的數(shù)據(jù)是按照key和value的形式存儲的并且key是唯一的,所以它能用來做數(shù)據(jù)的排重,它與MYSQL相比能存儲的數(shù)據(jù)量大很多。
所以他常被用于大數(shù)據(jù)處理完成之后的存儲目的地。Kafka:這是個比較好用的隊(duì)列工具,隊(duì)列是干嗎的?排隊(duì)買票你知道不?數(shù)據(jù)多了同樣也需要排隊(duì)處理,這樣與你協(xié)作的其它同學(xué)不會叫起來,你干嗎給我這么多的數(shù)據(jù)(比如好幾百G的文件)我怎么處理得過來,你別怪他因?yàn)樗皇歉愦髷?shù)據(jù)的,你可以跟他講我把數(shù)據(jù)放在隊(duì)列里你使用的時候一個個拿,這樣他就不在抱怨了馬上灰流流的去優(yōu)化他的程序去了,因?yàn)樘幚聿贿^來就是他的事情。
而不是你給的問題。當(dāng)然我們也可以利用這個工具來做線上實(shí)時數(shù)據(jù)的入庫或入HDFS,這時你可以與一個叫Flume的工具配合使用,它是專門用來提供對數(shù)據(jù)進(jìn)行簡單處理,并寫到各種數(shù)據(jù)接受方(比如Kafka)的。
Spark:它是用來彌補(bǔ)基于MapReduce處理數(shù)據(jù)速度上的缺點(diǎn),它的特點(diǎn)是把數(shù)據(jù)裝載到內(nèi)存中計(jì)算而不是去讀慢的要死進(jìn)化還特別慢的硬盤。特別適合做迭代運(yùn)算,所以算法流們特別稀飯它。
它是用scala編寫的。Java語言或者Scala都可以操作它,因?yàn)樗鼈兌际怯肑VM的。
聲明:本網(wǎng)站尊重并保護(hù)知識產(chǎn)權(quán),根據(jù)《信息網(wǎng)絡(luò)傳播權(quán)保護(hù)條例》,如果我們轉(zhuǎn)載的作品侵犯了您的權(quán)利,請?jiān)谝粋€月內(nèi)通知我們,我們會及時刪除。
蜀ICP備2020033479號-4 Copyright ? 2016 學(xué)習(xí)鳥. 頁面生成時間:3.583秒