[好站介紹] 大數據學院（Big Data University）
---- 免費的資料科學（Data Science）影音教學網
http://bigdatauniversity.com/
#BigData #DataScience #elearning
「大數據」（也可以翻譯成「巨量資料」）是近年來人人朗朗上口、但真的要解釋清楚又不容易的名詞。它在資訊學科裡，屬於「資料科學」（Data Science）這個分支。是一門可以從看似雜亂的原始資料，用統計的方式，找出特定趨勢的學問。舉大家都看過的例子，就像購物網站裡「您可能也喜歡...」，然後撈出一堆貨品讓你覺得「哎？電腦怎麼這麼聰明？知道這些東西也是我喜歡的？」其實就是分析網站裡每個人的購物習慣，找出與你相似的人「買了、但你沒買」的物品而已。
這類人需要很強的「統計」與「資訊」背景，大家也知道「統計」不好學，想當然爾這類人才當然很稀少。偏偏目前市場上對這類人才需求孔急，於是各家網路行銷公司紛紛出高薪挖兼具「統計」與「資訊」背景的「大數據」人才。而想投入就業市場的朋友，也在高薪的誘惑之下，前仆後繼地往「大數據」這個領域移動。
今天要介紹給大家的，是個與「大數據」有關的免費教學網站，叫做「Big Data University」。您可以用 Google 或 Facebook 帳號登入，就可以享用該站提供的免費課程。要成為大數據人才需要有的技能，該網站都幫您提供了。我還幫大家找了一些專有名詞的說明網站，希望大家喜歡。該網站提供的大數據課程分類如下：
1. 統計基礎
(1) Big Data Fundamentals 課程
(2) Data Science Fundamentals 課程
2. 資料分析工具
(1) Introduction to R 課程
(2) Introduction to Data Analysis Using R 課程
（R軟體/R語言簡介請參看： http://goo.gl/UtfVhq ）
3. 資料視覺化/呈現工具
(1) Introduction to OpenRefine 課程
（OpenRefine 簡介請參看： http://goo.gl/4b6D22 ）
4. 資料庫相關課程
(1) SQL Fundamentals 課程
(2) Introduction to NoSQL 課程
（NoSQL 簡介請參看： http://goo.gl/SUI2wX ）
5. 大數據使用的程式語言、函式庫
(1) Hadoop Fundamentals （Hadoop: 大數據常用程式語言）
(2) Spark Fundamentals （Spark: 大數據好用函式庫/軟體框架）
（Hadoop 簡介請參看： https://goo.gl/rR7J6z ）
（Spark 簡介請參看： http://goo.gl/KUV6Bw ）
對於小弟如此用心補充各種專有名詞中文資料可以按讚鼓勵一下嗎？ XD 你對大數據有什麼看法呢？還是有什麼問題想問呢？歡迎在下方留言喔！
如果你覺得 Big Data University 太讚了！你可以轉發給 Facebook 的其他朋友。邀請有興趣的同好一起來學，不懂時互相討論，在某人想放棄時鼓勵他堅持下去，不是很美好的一件事嗎？
希望今天的分享您會喜歡，也希望能對增加您資訊專業這方面做出一點貢獻！
hadoop spark教學 在 Re: [請益] 值得花十萬到巨匠學大數據軟體嗎？ - 看板Soft_Job 的八卦
開門見山：如果是有志想成為資料科學家或工程師的話，不要花，不值得。
連版上可能推的資策會大數據專班.....都不要去(真的要我寧可選Java EE班)。
恆逸我沒仔細研究，但應該沒差多少。
我是一位對資料處理有興趣的資料工程師，簡單說就是數據領域的黑手，不是帥帥的科學
家XD。但如果想一起當黑手的，我來說說有哪些東西可以先去看看有沒有興趣，再往下走：
(一)資料源：
Apache Flume
Apache Kafka
LogStash
負責接資料的，目前又以streaming為大宗：
Flume比較適合整合Hadoop生態系; Kafka則是偏SMACK架構; logStash則是ELK自成一派。
當然這不是絕對，而且可以互相接來接去，像我前一個案子也有Kafka->Flume->HDFS/HBase/Avro串來串去的。
我用這3套目前可以滿足大部分的streaming收資料的需求。
Flink沒時間碰QQ
阿批次勒？...HDFS API XD~
選一套的話：我選Kafka。搭配語言：Java Client API
(二)資料處理引擎：
MRv2(MapReduce)
Spark
這也是大家，即使是非業界也常常聽到的term，但要講的仔細也是好幾本書的內容了..
例如批次處理該用Spark好還是MapReduce。串流處理的話我聽過Spark Streaming，那跟
Storm又差在哪？什麼是micro-batch？
選一套的話，我選Spark，因為目前的應用還是單位時間點內記憶體能負載的量。還沒玩
過幾個PB的.....不然選擇可能不同了。
但有點尷尬的是，Spark用Java，即便是 Lambda寫起來也是有點憋屈..
所以我會推薦新手用Spark+Python+jupiter。
想讓自己被Funcational Programming玩的，可以選Spark in Scala（大推)
現在在IT鐵人賽有寫一點Spark +Scala的教學，有興趣的可以看看(招手)：
https://ithelp.ithome.com.tw/users/20103839/ironman/1210
(三)結構化/半結構化查詢工具(Query Engine)：
Hive
Impala (也開源了)
Spark SQL
這幾套我對Impala跟Spark SQL比較有研究而已。這邊就是SQL語言配的上場的地方啦！！
可以用簡單的SQL查詢當然開心啦，但是要注意的是先查哪些語法沒有支援....
不管哪一套都要注意"別幫他當作資料庫來用"，他們是查詢工具不是資料庫！
另外注意所謂的Partition的設計，以及選用的檔案格式，例如Parquet/Avro等....
扯遠了....
這幾套與BI也都有良好的介接，Tableau/Qlik View不是問題
選一套的話，我選SparkSQL/Impala 搭配SQL語言以及各種JDBC/ODBC
(四)分散式儲存系統：
HDFS
Kafka
S3
最正宗的Hadoop肯定會用到HDFS，但也可以把資料暫存在Kafka上，處理完後就送進NoSQL
，另外S3也是好物，只是沒機會碰到。
選一套的話，還是從HDFS+Java API開始吧
(五)分散式資料庫：
HBase
MongoDB
ElasticSearch
Cassandra
恩...沒有MySQ, MariaDB, PostgreSQL, MS SQL更沒有Oracle XDDD
這幾套我都很愛，只是MongoDB我是接一個小系統上面有跑，沒有實際開發應用經驗。
資料庫有時候就端看你要走哪種應用了：
Hadoop正宗就是搭配HBase，想用SQL上面可以套一個PhoenixDB，設計就是在玩Primary
Key。
ElasticSearch：全文檢索斷詞那方面的應用，也就是ELK中的E，再搭配一個kibana整個好用。
Cassandra:：與Spark整合良好，去正規化的Data modeling與P2P的架構整個是我的愛。
選一套的話，我私心選Cassadnra + Java/Scala Client~XD
(六)周邊：
Zookeeper, Hue, Yarn, Mesos。
還有太多周邊了商品了XDDD，Zookeeper可以要懂一些，HBase跟Kafka都有用
------------------------------------------------------------------------------------
OK就先到這裡了，上面的名詞可以Google看看，都是一個框架或工具，看看有沒有興趣。
另外考證照有沒有用，我覺是覺得有用啦，但我一張MS還是Oracle的都沒有XD：
Cloudera Certified Developer for Apache Hadoop (CCDH)
Cloudera Certified Specialist in Apache HBase (CCSHB)
Cloudera Certified Administrator for Apache Hadoop (CCAH)
Certified Developer on Apache Cassandra
PS: 我是電子系的，天下無難事...
小小資料工程師 一鞠躬
※ 引述《s00771book (320)》之銘言：
: 想問問前輩們
: 目前小妹的工作只是個
: 用BI cognos 拉資料做數據分析的助理
: 再用Excel樞紐分析 寫寫函數
: 做報告給主管看的工作
: 薪水少之又少 也不算是一技之長
: 根本不足以與大數據相提並論
: 目前嚮往大數據工作的方向
: (也是很有未來的工作 大陸已經很成熟了)
: 查看了104人力銀行
: 大數據分析工作需要的條件:
: MS SQL 資料探勘 R語言 Hedoop
: 所以我去巨匠諮詢了一下
: 課程規劃師說要學 MCSA MCSE
: 再考微軟證照70-461.462.463.464.465
: 才算是完全學會這套軟體
: 和證明給面試官看
: 但是學費竟然快要十萬
: 想請問有在做這方面工作的朋友們
: 真的值得花這筆錢嗎？
: P.S.我只是個國立科大 企管+金融的學士而已
: 沒有漂亮的學歷 只能學一技之長補足自己
: 也不是資工 資管的科系的
: 希望前輩們能給我建議 謝謝你們>////<
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 59.115.45.90
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1482735733.A.2FA.html
... <看更多>