“大數據”分析是一種非常有價值的技術。 事實是,“大數據” 從不停止流動! Spark Streaming 是一種新的快速開發的技術,它們被創造用於處理大量資料集( data sets ) – 為什麼等待一些夜間分析運行結果,當你可以一直即時不斷更新你的分析? 無論是來自大型網站的點擊串流資料,來自大量“物聯網”部署,傳感器數據,財務數據或是其它內容 – Spark Streaming 是為了一直即時轉換和分析資料所創造的強大技術。
🔥你將從 Amazon 和 IMDb 的前工程師和資深經理 Frank ( http://bit.ly/2GE7Zje ) 學習這項技術。
本課程讓你掌握一些真的實況 Twitter 資料,模擬 Apache 訪問日誌串流,甚至用於訓練機器學習模型的資料! 你將在家中自己的 PC 上編寫和運行真正的 Spark Streaming 工作,並且在課程結束時,將向你展示如何將這些工作轉移到真正的 Hadoop 叢集 (cluster),並在已上線的環境中運行它們。
https://softnshare.com/taming-big-data-with-spark-streaming-hands-on/
apache spark 在 紀老師程式教學網 Facebook 八卦
[免費教學] Intel 的「人工智慧學院」(AI Academy)
簡中版: https://software.intel.com/zh-cn/ai-academy (英文發音,簡中字幕)
英文版: https://software.intel.com/en-us/ai-academy
佛心啊~~感恩英特爾!讚嘆英特爾!
想免費學「人工智慧」基礎,卻不知道哪裡有適合的資源嗎?來來來!你來你來!英特爾「人工智慧學院」給你滿滿的免費人工智慧教學資源!不僅免註冊,還佛心地附上簡中字幕~鄉親啊~錯過這個村,就很難找到這個店啦~快點加入最愛、並且分享給你的 Facebook 親朋好友啊~~ XD
課程內容:
Part 1. 學習基礎知識
1. 機器學習簡介(影片,5 min)
2. 人工智能起步(文章)
3. 神經網路簡介(影片,1 hr 20 min)
4. 機器學習 101(十二週課程,文章)
5. 深度學習 101(十二週課程,影片+文章)
Part 2. 選擇框架(Framework)
1. neon(軟體下載 + 簡介 + 教育訓練,有文章與影片)
2. TensorFlow(軟體下載 + 簡介文章)
3. Caffe(軟體下載 + 簡介文章 + 教育訓練,有文章與影片)
4. Theano(軟體下載 + 簡介文章 + 教育訓練,有文章與影片)
5. BigDL(軟體下載 + 簡介文章 + 教育訓練,有文章與影片)
6. MXNet(軟體下載 + 簡介文章)
Part 3. 利用工具提昇(Enhance with Tools)
1. Intel Nervana(深度學習函式庫)
2. Movidius(神經網路運算函式庫)
3. Intel 特化過的 Python(已包含人工智慧相關外掛)
4. Intel 數學核心函式庫
5. 01.org:Intel 的深度學習神經網路函式庫
6. Intel 機器學習函式庫(僅適用於 Linux 平台)
7. Intel 數據分析函式庫
8. BigDL:用於 Apache Spark 的分散式深度學習函式庫
如果點擊某連結後,頁面變成英文,可以注意一下右上角有沒有可以改「語系」的地方。如果有,不妨改成「簡中」,方便那些英文苦手的朋友看。
如果您喜歡這個資源,別忘了按讚鼓勵一下喔!分享、討論更是歡迎!一個星期已經過去一半了,大家加油!
apache spark 在 โปรแกรมเมอร์ไทย Thai programmer Facebook 八卦
อ่านหลักสูตรโท AI ของ Nida น่าสนใจดี
เผื่อใครสนใจเป็น วิศวกรปัญญาประดิษฐ์ ในยุค AI
โดยผู้ที่เขาเรียนเข้าเรียนจบตรีอะไรมาก็ได้ ไม่จำกัดสาขา
แต่ต้องมีพื้นฐานคณิตศาสตร์และมีพื้นฐานการเขียนโปรแกรมที่ดีมาก
วิศวกรปัญญาประดิษฐ์ (Artificial Intelligence Engineer):
อาชีพใหม่ รายได้ดี เป็นที่ต้องการ ที่คนไทยยังไม่รู้จัก
ผู้ช่วยศาสตราจารย์ ดร. อานนท์ ศักดิ์วรวิชญ์
ผู้อำนวยการหลักสูตรปรัชญาดุษฎีบัณฑิตและวิทยาศาสตรมหาบัณฑิต
สาขาวิชาการวิเคราะห์ธุรกิจและวิทยาการข้อมูล
https://www.facebook.com/BusinessAnalyticsNIDA/
คณะสถิติประยุกต์ สถาบันบัณฑิตพัฒนบริหารศาสตร์
โลกก้าวไกลไปด้วยปัญญาประดิษฐ์ (Artificial Intelligence) และการเรียนรู้ด้วยเครื่องจักร (Machine Learning) ของเรียกรวมว่า AIML
คอมพิวเตอร์ในปัจจุบันทำอะไรที่ในอดีตทำแทบไม่ได้เลย และในอนาคตปัญญาประดิษฐ์และการเรียนรู้ด้วยเครื่องจักรจะมาทำหน้าที่แทนคนเป็นอันมาก
อุตสาหกรรมที่เอาปัญญาประดิษฐ์และการเรียนรู้ด้วยเครื่องจักรมาแทนคนจำนวนมากมายและเริ่มเลย์ออฟพนักงาน คือธนาคาร โดยเฉพาะธนาคารพาณิชย์ไทยขนาดใหญ่จำนวนมาก 5-6 แห่งต่างเลย์ออฟพนักงานที่มีทักษะเก่าที่ธนาคารไม่ได้ต้องการแล้วออกไปเป็นจำนวนมากเช่น teller หน้าเคาเตอร์ ซึ่งผู้บริโภคหันไปใช้ mobile banking และ internet banking กันแทบจะหมดแล้ว สาขาก็เริ่มปิดตัวไป
สมัยก่อนคนที่จบการศึกษาด้านเศรษฐศาสตร์นิยมทำงานด้านธนาคาร และธนาคารก็นิยมรับคนจบเศรษฐศาสตร์ แต่มาวันนี้ธนาคารไม่ได้ต้องการคนจบเศรษฐศาสตร์แล้ว และเศรษฐศาสตร์ก็มีคนเรียนน้อยลงมาก เพราะจบมาแล้วอาจจะหางานทำยากเมื่อเทียบกับในอดีต
แต่ว่าธนาคารต่างๆ ในประเทศไทย เลย์ออฟคนแล้ว กลับรับคนใหม่เข้ามามากมาย เช่น ธนาคารแห่งหนึ่งมีพนักงาน 18,000 คน เลย์ออฟพนักงานจนเหลือ 10,000 คน แล้วรับใหม่เข้ามาจนมีพนักงานอยู่ 21,000 คน แสดงให้เห็นว่าแท้จริงแล้วปริมาณงานไม่ได้ลดลง และกิจการก็ไม่ได้แย่ลง
ธนาคารคงคิดว่าไม่อาจจะเปลี่ยนทักษะ (Re-skill) พนักงานเดิมได้ สู้เลย์ออฟแล้วได้พนักงานใหม่ที่มีทักษะใหม่ที่ธนาคารต้องการจะดีกว่า
ทักษะใหม่ที่ว่าได้แก่ ทักษะด้านวิทยาการคอมพิวเตอร์ การพัฒนาซอฟท์แวร์ วิทยาการข้อมูล Financial Technology ปัญญาประดิษฐ์และการเรียนรู้ด้วยเครื่องจักรหรือ AIML ความมั่นคงไซเบอร์ และ Blockchain เป็นอาทิ
โลกในยุคต่อไป AIML จะเข้ามาแทนมนุษย์ในแทบทุกอุตสาหกรรม ทรัมป์บอกว่าจะตั้งกำแพงภาษีหาก NISSAN ไปตั้งโรงงานรถยนต์ในเม็กซิโก NISSAN มาตั้งโรงงานในสหรัฐอเมริกาทันทีแต่ใช้หุ่นยนต์และ AIML แทน ทำให้ลดคนงานจากหลายพันคนเหลือเพียงไม่กี่สิบคน ผลิตรถยนต์ได้เร็วกว่าโรงงานที่จ้างคนมากๆ
โรงงานผลิตอาหารของเครือเจริญโภคภัณฑ์ที่สร้างใหม่ในประเทศจีนก็ใช้หุ่นยนต์และ AIML แทนคนงานจำนวนมาก ใช้คนคุมเครื่องจักร หุ่นยนต์และ AIML ไม่กี่คนก็สามารถผลิตอาหารเลี้ยงจนจีนวันละเป็นล้านคนได้ในแต่ละวันอย่างง่ายดาย ด้วยต้นทุนที่ถูกกว่ากันมาก
การที่ AIML เติบโตอย่างรวดเร็วและสร้างความได้เปรียบในการแข่งขัน ลดต้นทุน ทำให้เกิดความต้องการผู้ที่มีความเชี่ยวชาญด้าน AIML มากขึ้นเรื่อยๆ และเกิดอาชีพใหม่ที่เรียกว่า วิศวกรปัญญาประดิษฐ์ (Artificial Intelligence Engineer) ซึ่งเป็นผู้เชี่ยวชาญด้าน AIML นั่นเอง
วิศวกรปัญญาประดิษฐ์ ทำหน้าที่อะไร
คำตอบคือ ทำหน้าที่พัฒนาและให้คำปรึกษาในการใช้ปัญญาประดิษฐ์และการเรียนรู้ด้วยเครื่องจักรไปประยุกต์ใช้กับข้อมูลประเภทต่างๆ หรือข้อมูลใหม่ๆ ในธุรกิจต่างๆ ซึ่งต้องประยุกต์ให้เหมาะสม การให้คำปรึกษานี้ต้องรวมการพัฒนาไปด้วย เช่นอาจจะมีข้อมูลประเภทใหม่ หรือธุรกิจใหม่ๆ ที่ต้องอาศัยปัญญาประดิษฐ์และการเรียนรู้ด้วยเครื่องจักรวิธีใหม่ และ/หรือต้องมีการปรับจูนพารามิเตอร์ในปัญญาประดิษฐ์หรือการเรียนรู้ด้วยเครื่องจักรเดิมให้ทำงานได้ดีเหมาะสมกับข้อมูลใหม่ๆ หรืออุตสาหกรรมที่แตกต่างกันไป
ดังนั้นวิศวกรปัญญาประดิษฐ์จึงต้อง
1. เข้าใจขั้นตอนวิธี (Algorithm) ของปัญญาประดิษฐ์และการเรียนรู้ด้วยเครื่องจักร อย่างลึกซึ้งพอที่จะแก้ไขปัญหาและแนะนำให้นักวิทยาการข้อมูล (Data scientist) นักวิเคราะห์ธุรกิจ (Business Analyst) นักวิเคราะห์ข้อมูล (Data Analyst) เลือกใช้ AIML ได้อย่างเหมาะสมกับประเภทและความซับซ้อนของปัญหาและข้อมูลที่ต้องการวิเคราะห์
2. เข้าใจการปรับจูนค่าพารามิเตอร์ใน AIML และเข้าใจวิธีการหาค่าเหมาะสุด (Optimization) ใน AIML ให้ได้ผลลัพธ์ที่ดีที่สุด แก้ไขปัญหาได้เมื่อเกิดปัญหา
3. ต้องมีความเข้าใจข้อมูลที่มีโครงสร้าง โครงสร้างของข้อมูล ข้อมูลที่ไร้โครงสร้าง (Unstructured data) ได้แก่ ข้อมูลจากสื่อสังคม ข้อมูลภาพสอง-สามมิติ วีดีทัศน์สอง-สามมิติ มัลติมีเดีย เสียง ข้อความ คลื่นๆ และอื่นๆ อีกมาก ต้องจัดการข้อมูลได้ เพื่อให้เลือกใช้ AIML ให้เหมาะสมกับข้อมูลแต่ละประเภทและที่มีความซับซ้อน
4. มีความคิดสร้างสรรค์และความคิดวิเคราะห์ในการประยุกต์ใช้ AIML หรือพัฒนา AIML ใหม่ๆ มีประสิทธิภาพดีกว่าขั้นตอนวิธีเดิม เพื่อตอบโจทย์ในการเอาไปใช้งานจริง เพิ่มความสามารถในการแข่งขันในอุตสาหกรรม
วิศวกรปัญญาประดิษฐ์ในสหรัฐอเมริกาเป็นอาชีพที่มีรายได้ดีมาก ไม่ว่าจะเป็น Google, Facebook และ Technoprenuership อื่นๆ ต่างก็จ้างวิศวกรปัญญาประดิษฐ์มาช่วยแนะนำและแก้ไขปัญหาการวิเคราะห์ของหน่วยงานตลอดจนพัฒนาระบบการทำงานใหม่ๆ ให้ดีมีประสิทธิภาพมากขึ้น ลดจำนวนพนักงานลงไปได้มาก
คำที่วิศวกรปัญญาประดิษฐ์พูดกันบ่อยๆ มีอยู่หลายคำ ลองไปค้นคำ เช่น Keras, TensorFlow, Deep Learning, Reinforcement Learning, PyTorch, Weka, Apache Spark, Scikit Learn เป็นต้น ซึ่งเป็น software หรือ AIML ตัวใหม่ๆ ที่กำลังแพร่หลายในวงการ AIML ในโลกปัจจุบัน
วิศวกรปัญญาประดิษฐ์ เป็นงานที่ขาดแคลนมากในสหรัฐอเมริกา เป็นงานที่ใช้ความรู้ทั้งด้านคณิตศาสตร์/สถิติศาสตร์/คอมพิวเตอร์/ขั้นตอนวิธี จึงค่อนข้างหายาก ที่สำคัญอย่างยิ่งคือต้องมีความสามารถในการสื่อสารเรื่องยากๆ ทางเทคนิคให้ง่าย ให้คนที่ไม่มีพื้นฐานทางวิทยาการคอมพิวเตอร์ สถิติศาสตร์ หรือคณิตศาสตร์สามารถฟังแล้วเข้าใจได้ง่าย
คนที่จะเรียนทำงานเป็นวิศวกรปัญญาประดิษฐ์ได้ควรจบอย่างน้อยระดับปริญญาโทหรือถ้าจะให้ดีควรจบระดับปริญญาเอก ควรจบปริญญาตรีทางคณิตศาสตร์/วิทยาการคอมพิวเตอร์/วิศวกรรมคอมพิวเตอร์ จะได้เปรียบนิดหน่อยแต่ไม่เสมอไป
คนที่คณิตศาสตร์ดี/เขียนโปรแกรมได้ดี/ตรรกะในการคิดวิเคราะห์ดี ย่อมสามารถเรียน AIML เพื่อให้เป็นวิศวกรรมปัญญาประดิษฐ์ได้ต่อไปในอนาคต
ในอนาคตประเทศไทยก็น่าจะต้องการวิศวกรปัญญาประดิษฐ์เพิ่มมากขึ้น โดยเฉพาะอย่างยิ่งในภาคเอกชนที่มีการนำ AIML มาใช้งานจริงในธุรกิจเพิ่มขึ้นทุกๆ วัน เพื่อเพิ่มความสามารถในการแข่งขันและความยั่งยืนทางธุรกิจ
ยกตัวอย่างเช่น ธนาคารพาณิชย์แห่งหนึ่ง ยกเลิกการจ้างพนักงานประเมินราคาอสังหาริมทรัพย์จาก outsource ภายนอกที่ต้องเสียค่าจ้าง (โดยผู้ขอกู้เงินต้องจ่าย) อย่างน้อยครั้งละ 2500 บาท โดยใช้ปัญญาประดิษฐ์ในการประเมินราคาอสังหาริมทรัพย์แทนคน ผู้กู้ต้องกรอกรายละเอียดของอสังหาริมทรัพย์ให้ครบถ้วนและถ่ายรูปมาแสกนเข้าระบบคอมพิวเตอร์ที่มีปัญญาประดิษฐ์ ทำให้ตีราคาอสังหาริมทรัพย์ได้แม่นยำเกือบเท่ากับการจ้างนักประเมินราคาอสังหาริมทรัพย์ ซึ่งเป็นผู้เชี่ยวชาญได้ไกล้เคียงมาก อีกทั้งการใช้ปัญญาประดิษฐ์ยังเป็นการลดการใช้ดุลพินิจอันเป็นการป้องกันการทุจริตคอร์รัปชั่นไปได้ในตัวเอง
หลักสูตรวิทยาศาสตร์มหาบัณฑิต (การวิเคราะห์ธุรกิจและวิทยาการข้อมูล) คณะสถิติประยุกต์ สถาบันบัณฑิตพัฒนบริหารศาสตร์ เปิดสอนปริญญาโทสองสาขามานานพอสมควรคือสาขาวิชาปัญญาและการวิเคราะห์ธุรกิจ (Business Analytics and Intelligence) และสาขาวิทยาการข้อมูล (Data Science) และการแข่งขันในการเข้าเรียนของทั้งสองสาขาก็สูงมาก
แต่เนื่องจากความจำเป็นของประเทศที่ต้องการวิศวกรปัญญาประดิษฐ์เพื่อตอบสนองความต้องการภาคเอกชนและยุทธศาสตร์ชาติ Thailand 4.0 จึงได้พัฒนาสาขาวิชา ปัญญาประดิษฐ์และการเรียนรู้ด้วยเครื่องจักร (Artificial Intelligence and Machine Learning: AIML) ทั้งในภาคปกติและภาคพิเศษ เพื่อผลิตวิศวกรปัญญาประดิษฐ์ให้กับประเทศไทย
ผู้สมัครเข้าเรียนไม่จำกัดสาขาวิชา แต่ต้องมีพื้นฐานคณิตศาสตร์ที่ดีมาก และมีพื้นฐานการเขียนโปรแกรมตลอดจนความคิดวิเคราะห์และตรรกะที่แม่นยำ
ในปีแรกของการศึกษานักศึกษาทั้งหลักสูตรจะเรียนวิชาปรับพื้นฐานและวิชาแกนร่วมกันดังแผนภาพด้านล่างนี้ วิชาที่พื้นหลังเป็นสีเหลืองเป็นวิชาปรับพื้นฐาน ผู้ที่เรียนมาแล้วระดับปริญญาตรีสามารถทดสอบ (Placement test) เพื่อข้ามไปเรียนวิชาอื่นได้เลยหากสอบผ่าน สำหรับวิชาที่เรียนมี
วิชาการจัดการข้อมูลใหญ่ (Managing Big Data) เพื่อให้สามารถจัดการกับข้อมูลใหญ่ในรูปแบบต่างๆ ได้
วิชาการวิเคราะห์ธุรกิจและวิทยาการข้อมูลเบื้องต้น (Introduction to Business Analytics and Data Science) ซึ่งสอนให้นักศึกษาเห็นภาพรวมของทุกสาขาวิชา และเข้าใจการนำไปประยุกต์ใช้ แต่นิสิตจะเรียกว่า วิชา (สาบาน) ว่าอินโทร
วิชาการวิเคราะห์ข้อมูลเชิงบุกเบิกและการวาดภาพนิทัศน์จากข้อมูล (Exploratory Data Analysis and Data Visualization) วิชานี้สอนให้วาดรูปจากข้อมูลทั้งวิชา สอนเรื่องการออกแบบ เป็นวิชาที่ใช้สมองทุกซีกทุกส่วนของมนุษย์ และใช้ความรู้สารพัดสาขาวิชา ตั้งแต่ จิตวิทยา คอมพิวเตอร์ สถิติ ศิลปะ สถิติศาสตร์ คณิตศาสตร์ และการเขียนโปรแกรมคอมพิวเตอร์
วิชาการออกแบบวิจัยและวิธีการแสวงหาความรู้ (Research Design and Inquiry Methods) สอนให้ออกแบบงานวิจัยเป็น ให้แสวงหาความรู้ด้วยตนเองได้ เข้าใจปรัชญาวิทยาศาสตร์และญาณวิทยาแห่งการแสวงหาความรู้ มีความคิดวิจารณญาณ
วิชาสถิติวิเคราะห์สมัยใหม่ประยุกต์ (Applied Modern Statistical Analysis) เน้นไปที่สถิติอนุมาน การสร้างตัวแบบ และสถิติสมัยใหม่ที่เน้นการคำนวณเข้มข้น (Computationally-intensive statistical methods) อันเป็นพื้นฐานของปัญญาประดิษฐ์ วิทยาการข้อมูล และการเรียนรู้ด้วยเครื่องจักร
วิชาการวิเคราะห์เชิงกำหนดและการหาค่าเหมาะสุดประยุกต์ สอนการจัดการเชิงปริมาณ การหาค่าเหมาะสุดในการจัดการ และเป็นพื้นฐานในการประมาณค่าเหมาะสุดของปัญญาประดิษฐ์และการเรียนรู้ด้วยเครื่องจักร
วิชาการเรียนรู้ด้วยเครื่องจักรประยุกต์ (Applied Machine Learning) เป็นวิชาพื้นฐานตัวแรกของ AIML เลยครับ
หลังจากนั้นปีสอง จึงเริ่มเรียนวิชาเอกในสาขาวิชา เป็นวิชาเอกบังคับห้าวิชา คือ
หนึ่ง วิชาปัญญาประดิษฐ์ สองวิชาปัญญาประดิษฐ์ขั้นสูงซึ่งครอบคลุมไปถึง Computer Vision และ Robotics
สาม วิชาการหาค่าเหมาะสุดสำหรับปัญญาประดิษฐ์และการเรียนรู้ด้วยเครื่องจักร เรียนเพื่อให้เข้าใจขั้นตอนวิธีและการปรับจูนค่าพารามิเตอร์ของ AIML เพื่อให้สามารถพัฒนา AIML ตัวใหม่ๆ ต่อยอดไปได้ในอนาคต
สี่ วิชาการเรียนรู้เชิงลึก หรือ Deep learning ที่เรากำลังรู้จักกันดี
และ ห้า วิชาการเรียนรู้ด้วยเครื่องจักรขั้นสูง ซึ่งครอบคลุมไปถึงการเรียนรู้แบบรวมกลุ่ม (Ensemble learning) และการเรียนรู้แบบเสริมแรง (Reinforcement learning) ซึ่งนำมาใช้ในการพัฒนาปัญญาประดิษฐ์ให้สามารถเล่นโกะหมากล้อมได้ชนะแชมป์โลกได้
ฟังดูเหมือนจะยากใช่ไหมครับ สาขาวิชาปัญญาประดิษฐ์และการเรียนรู้ด้วยเครื่องจักร (AIML) เพื่อสร้างวิศวกรปัญญาประดิษฐ์ อาชีพใหม่ มาแรง มีอนาคตดี รายได้สูงของประเทศไทย ให้ออกไปทำงานรับใช้ชาติ
ถ้าถามว่าเรียนง่ายหรือไม่ คงไม่ใช่อย่างแน่นอน แต่ถ้าถามว่าท้าทาย เป็นประโยชน์ และเป็นโลกของอนาคตหรือไม่ คำตอบคือใช่
เมื่อปัญญาประดิษฐ์และการเรียนรู้ด้วยเครื่องจักรจะมาแทนมนุษย์ในการทำงาน
มนุษย์ที่จะมีงานทำต่อไปก็คือคนที่สร้างปัญญาประดิษฐ์และการเรียนรู้ด้วยเครื่องจักร เท่านั้น ซึ่งก็คือวิศวกรปัญญาประดิษฐ์นั่นเอง ซึ่งน่าจะอยู่รอดได้อีกนาน
ตราบใดที่ปัญญาประดิษฐ์ไม่คิดฆ่าล้างเผ่าพันธุ์คนที่คิดสร้างปัญญาประดิษฐ์ขึ้นมาไปเสียเอง!!! แต่ช้าก่อนเราจะวางใจได้จริงหรือ???
apache spark 在 What Is Apache Spark? - YouTube 的八卦
Learn more about Apache Spark → https://ibm.biz/BdPfYS Check out IBM Analytics Engine → https://ibm.biz/BdPmmv Unboxing the IBM POWER ... ... <看更多>