2020人工智慧的預測~
本文來自量子位微信公眾號 QbitAI
…………………………………………………………
吳恩達邀請9位AI大牛暢想2020：李開復看好醫療教育，LeCun強調自監督學習
2020，AI的研究會有哪些突破？
2020，AI的應用又會有什麼變化？
吳恩達DeepLearning.ai旗下的THE BATCH刊物，分享了包括Yann LeCun、李開復、周志華、還有他們的老闆吳恩達在內的10位AI大佬的新年寄語，以及對AI在2020年能有什麼突破的“新年願望”。
一起來看看吧~
▌吳恩達：保持學習和好奇心
在這份「新年寄語篇」的開頭，吳恩達作為發起人開場，總體是一些關於學習新知識的碎碎念。
吳恩達說，他每年冬天的假期都會圍繞一個新的主題進行學習。
比如10年前的那個冬天，他的學習主題是教育學，雖然當時他拖著十分沉重的書箱在機場趕路，但對教育學的研究的確為後來線上學習平臺Coursera的成立起到了幫助。
而去年，當時他的寶貝女兒Nova還在母親腹中，吳恩達就在冬天讀了很多育兒書籍。
而這個冬天，吳恩達說他在研究續命——包括遺傳學、還有誇克什麼的在內的新興科學，還實地探訪去拜見了自己101歲的爺爺，爺爺用親身經歷告訴他：
長壽的秘方，就是保持好奇心。
照這個規律，吳恩達覺得自己的關注者裡會有不少人能在101歲之後依然活蹦亂跳的。
最後，吳恩達祝大家過一個充滿好奇心、學到新東西、有愛的2020年。
▌李開復：AI將在更多行業落地
李開復的新年寄語主題，是AI無處不在。他說：
人工智慧已經從發現的時代到了落地的時代。在我們主要在中國的投資組合中，我們看到了在銀行、金融、運輸、物流、超市、飯店、倉庫、工廠、學校和藥物研發中使用人工智慧和自動化技術的應用。
但是，從整體經濟的角度來看，只有一小部分企業開始使用AI，這表明AI還有巨大的增長空間。
我相信，在人類技術進步的歷史上，AI將與電力同等重要。在未來的一二十年中，人工智慧將滲透到我們的生活和工作中，從而提供更高的效率和更智慧的體驗。現在正是企業、機構和政府充分擁抱AI並推動社會前進的時機。
我對AI在醫療和教育上的影響非常興奮。這兩個行業已經為AI的部署做好了準備。
我們投資了一家使用AI和大數據優化供應鏈的公司，從而緩解了超過1.5億中國農村人口的藥品短缺情況。我們也在投資用深度學習來生成化合物的藥物研發公司，以將藥物發現時間縮短三到四倍。
在教育方面，我們看到一些公司正在用AI改善學生的英語發音，幫助學生提升成績，用個性化和遊戲化的方式説明學生學習數學。這將使教師從日常工作中解放出來，並使他們能夠花時間為新興一代的學生做更多鼓勵性的工作。
我希望看到更多明智的企業家和公司在2020年及以後的幾年中開始使用AI來幫助他們獲得更大的好處。
▌LeCun：自監督學習帶來AI革命
深度學習三巨頭之一、圖靈獎得主Yann LeCun的新年寄語主題，是Learning From Observation。
讓人忍不住把它翻譯成“格物致知”。
“格”的是開車這件小事。LeCun提到，人類學開車只要幾十個小時，但是模仿學習演算法需要學幾十萬個小時，強化學習演算法甚至需要學幾百萬個小時，這裡面一定有什麼問題。
人類可以高效學習，是因為我們人在腦海裡建立了世界的模型。嬰兒很難和世界互動，但是在剛出生的幾個月裡，他們通過觀察吸收了大量關於這個世界的背景知識。顯然，大腦的很大一部分被用在了理解世界的結構，並預測一些無法直接觀察到的事物，比如未來才會出現的東西、或者被隱藏的事物。
因此，AI的前進方向，就是自監督學習（self-supervised learning），它和監督學習類似，但是並不會訓練系統去把資料分類，而是我們隱藏一些部分，讓後讓機器預測丟失的部分，比如把視頻的一些幀抹掉，然後訓練機器根據剩餘的幀來填補被抹掉的部分。
最近，這種方法在NLP方面非常成功。諸如BERT、RoBERTa、XLNet、XLM之類的模型以自監督的方式進行訓練來預測文本中缺少的單詞，它們在所有主要的自然語言基準測試中都有記錄。
希望在2020年，自監督學習能夠用在視頻和圖像上。它會在視頻這類高維連續資料上創造類似的革命嗎？
其中一項嚴峻的挑戰是應對不確定性。像BERT這樣的模型無法判斷句子中丟失的單詞是“貓”還是“狗”，但是它們可以產生概率分佈向量。對於圖像或視頻幀，我們沒有一個好的概率分佈模型。但是最近的研究非常接近，或許我們很快就會發現這樣一個模型。
這樣，我們就能用很少的視頻訓練樣本，來實現非常好的性能預測、動作預測，而這在以前是不可能的。
當這個想法實現的時候，2020年就會是AI領域非常激動人心的時刻。
▌周志華：方法創新，方針明確
南京大學周志華教授對2020年有三個希望：
1、希望能夠出現深度神經網路以外的高級機器學習技術。神經網路已經被許多研究人員、工程師和從業人員研究並應用了很長時間，其他機器學習技術為創新提供了相對未開發的空間。
2、希望AI可以涉足更多領域，為人們的日常生活帶來更多積極的變化。
3、希望研究人員、工程師和從業者們對於如何採取措施防止AI技術的錯誤開發和濫用進行更多的思考和討論。
▌Anima Anandkumar：模擬的力量
Anima Anandkumar是英偉達機器學習的總監，也是加州理工的電腦教授。
Anandkumar教授提到，在模擬環境學習中訓練演算法會讓網路更為強大，並且能類比各種複雜的情況，在一些情況下可以解決研究人員資料不夠的問題。
她所在的加州理工已經用物理模型來類比真實資料，用深度學習進行地震預測的研究；英偉達也推出了模擬平臺Isaac。
她希望，2020年AI科學家們能認識到在類比環境中進行訓練的價值，並在新的一年產生更為重大的AI進步。
▌Oren Etzioni：工具創造平等
Oren Etzioni是艾倫人工智慧研究所的首席執行官、華盛頓大學電腦教授、Madrona資本合夥人。
他認為，AI界花了很多時間討論演算法的公平和透明性，但在應用上，AI還可以為社會提供更多幫助，比如為行動不便的人提供無障礙技術，解決教育、流浪者、人口販賣的問題，AI能對人們的生活品質產生巨大的積極影響，但現在AI界對此的研究和探討只浮於表面。
因此，他希望2020年AI界能用切實的手段讓這些處於不利地位的人受益，讓世界更公平。
▌Chelsea Finn：泛化的機器人
Chelsea Finn是斯坦福電腦科學與電氣工程助理教授。
她認為，目前的許多AI技術都能在圍棋等特定任務上取得非常好的成績，但在泛化方面做得還不夠，無法用一個機器人來完成多個任務。
比如，識別ImageNet上的圖片需要一個模型，但如果機器人需要與環境交互，那為每個任務都創造一個ImageNet那麼大的資料集是不切實際的。
因此，她也在進行更多賦予機器人泛化能力的研究。如果強化學習的臨界品質發展和泛化有所突破，會是非常令人振奮的事情。如果能應對這些挑戰，機器人會比現在的更加智慧，而不僅僅是停留在實驗室裡。
▌David Patterson：快速訓練與推理
David Patterso是加州大學伯克利分校的電腦科學教授，RISC-V國際開源實驗室負責人，也是ACM和IEEE的Fellow。
他說，過去一年，阿裡巴巴、 Graphcore和英特爾等公司都在研發專門的人工智慧處理器，而這些晶片將慢慢進入研究實驗室和資料中心。
他認為，投資數十億美元打造新穎的人工智慧硬體將在2020年初見成效。
並希望人工智慧社區能接受其中最好的晶片，來推動這個領域朝著更好的模型和更有價值的應用方向發展。
▌Dawn Song：要對資料負責
Dawn Song是安全領域的頂尖學者之一，1996年本科畢業於清華大學，現在是加州大學伯克利分校(UC Berkeley)電腦科學和電子工程教授，也是Oasis Labs 首席執行官和聯合創始人。
她認為，人們對敏感性資料的收集正在迅速增加，幾乎涵蓋了人們生活的方方面面。但使用者幾乎無法控制他們生成的資料如何被使用。與此同時，企業和研究人員在利用資料方面面臨著諸多挑戰。
在她看來，這種資料收集方式將個人和企業置於危險之中，她希望2020年應該是為負責任的資料經濟打下基礎的一年。
這需要創造新的技術、法規和商業模式。Dawn Song認為，2020年在在機器學習方面仍然存在更大的挑戰，要打造可擴展的系統來為實際部署大型、異構資料集服務，聯邦學習的進一步研究和部署對於某些用例也很重要等等。
▌Richard Socher：資訊海洋已經沸騰
Richard Socher博士畢業于斯坦福大學電腦系。2016年，自己創辦的公司被Salesforce收購後，加入Salesforce，現在是Salesforce的首席科學家。
他認為，如何處理鋪天蓋地的事實、意見和觀點仍然是一個挑戰。
比如，在你沒有讀過一個冗長的文檔之前，你很難知道你會在裡面找到什麼資訊。而且，想要知道某個特定的陳述是否正確也非常困難。
在他看來，自動提取摘要可以解決這些問題，2020年，這一技術將會迎來重大發展，改變我們消費資訊的方式。
不僅能説明人們應對不斷湧現的新資訊，而且還能讓人們進一步擁抱人工智慧的巨大潛力，創造一個更美好的世界。
原文傳送門：
https://blog.deeplearning.ai/blog/the-batch-happy-new-year-hopes-for-ai-in-2020-yann-lecun-kai-fu-lee-anima-anandkumar-richard-socher
self-supervised learning 在 簡介Self-Supervised Learning 的近期發展(2018–2020) 的相關結果
SSLFTW = Self-Supervised Learning F** The World!!! 不僅在AAAI 上LeCun, Bengio 與Hinton 都對這領域寄與厚望；最近發表的文章也顯示SSL 得到的模型表現在ImageNet ... ... <看更多>