❈官網帳戶安全公告❈
各位親愛的林距離:
昨日晚間11點幹部回報，通知工作夥伴，微博上有JM討論官網疑似被駭；
相關工作人員立刻與官網工程師聯繫，並隨即清查官網後台確認是否屬實。
凌晨01:48分-工程師清查過後，回報官網一切正常，並無被駭或資料被取走跡象。
所以請所有JM放心，官網正常運作中，沒有帳號資料外洩之疑慮！
那為何該員表示擁有會員資料？工程師推測2013年10月26日官網進行改版與資安升級的時候，
被趁隙進入後台，進而盜取了當時部分的資料，這點確實是我們官網的疏失。
傑聯邦國際有限公司全體工作人員在此向所有會員致上最深的歉意！
于此同時，我們也慶幸後續官網就做了改版與資安保護升級，進而將傷害降到最低；
加入官網的每位會員對我們而言都像是家人般的重要！
因此未來在保護家人的重要資料上，我們也會更加謹慎小心，造成大家不必要的恐慌深感抱歉！
後續有相關問題也歡迎會員來信至：ｓｅｒｖｉｃｅ＠ｊｊｌｉｎ．ｃｏｍ
謝謝大家對林距離這個大家庭的支持與愛護！
By 傑聯邦全體工作人員敬上
ｈｔｔｐ：／／ｗｗｗ．ｊｊｌｉｎ．ｃｏｍ／ｎｅｗｓ．ｈｔｍｌ？ｎｅｗｓｉｄ＝４１１３
資料工程師 在 Re: [請益] 生涯發展數據/資料工程師- 看板Soft_Job - 批踢踢 ... 的八卦
※ 引述《joyste0102 (Joyce)》之銘言：
: 晚安，大家，不好意思有以下生涯發展想請問：
: 朋友商管背景，工作大概3年，想轉職Data analysis/data engineering或是偏backend的工作，請問各位轉職大神有什麼建議呢？
: 目前有幾個想法是這樣：
: 1. 不要去考研究所，成本太高也不太需要。
: 2. 去上線上課程Python跟Database開始測試自己的興趣，然後一路上到data visualization之類的。
: 3. 去Bootcamp。Alpha Camp只有Full stack似乎不太適合？要去App Works?還有其他的嗎？Hahow有什麼好課程推薦嗎？
: 另想詢問各位推薦幾件事情：
: 1. 台灣的線上或是實體課程。英文程度OK，但還是希望以中文先入手，然後有人可以問可以討論最好。目前有在上班，現在是淡季可以晚上上線上，不排斥兩三個月後辭職準備。
: 2. 課程地圖。想請問自己在家上MOOC的話，應該是怎樣的順序然後才去銜接比方說App Works的Boot camp呢？比較不希望一張白紙就去上，上之前的前期工作要準備好。所以我才會開Python基本語法然後DB，但是到Data Visualization的中間，還有哪些東西可以上MOOC的呢？
: 非常感謝大家的協助，謝謝~
: -----
: Sent from JPTT on my Realme RMX2144.
其實看到這篇真的感觸很深,這幾年DS變顯學但是再屌的DS後面都還是傳統的BI
只是現在為了要吸引人來應徵和跟上潮流大家都一定要講Data Science...
我現在剛好就在紐西蘭某一萬五千人的公家機關當DS Manager
但是我的部門其實是一個SAS平台從Data Warehouse到Visualisation和Analytics
不管前面的專案用甚麼資料模型,一大堆PhD(Permanent Head Damage)
都還是要仰賴ETL,然後我們招人頭銜開Data Scientist來丟履歷的都可以包山包海
面試前30分鐘丟考卷裡面大概六大類考題,請他們能做多少做多少
每個都寫會R/Python/SAS,做過Power BI/Tableau,成功的ML專案
然後丟一個輾轉相除法用SAS寫Macro,問為什麼
select * from a inner join b on a.id = b.id 有問題
來個Left Skewed Bar Chart請他們提供更好的視覺化
再來個Confusion Matrix比較outcome
最後問一個怎麼追蹤量測已經上線的ML
結果...全掛@@
尤其在底層的程式語言和資料倉儲現在有能力的越來越難找
所以回到原PO的問題,其實我到覺得Data Backend非常有搞頭
因為傳統ETL越來越跟不上現代快速大量然後一直變化的需求
從老式Dimensional Modelling到後來Data Vault到現在都Realtime data pipeline
要能夠建立維護一個穩定又效率的資料倉儲尤其在像是大企業或是政府機關
真的難度很高,我們有超過1,800個source table
每天大約六十四億筆資料更新,1.1Tb資料在伺服器間往返
然後編制...六個人,而且還不能加班
現在薪水開到約兩百二十萬台幣還真的很難找人 (不好意思我們鄉下地方不能跟美國比)
所以有機會進Data Backend的話其實還蠻推薦的哇哈哈~~~
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.100.130.214 (紐西蘭)
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1623414606.A.E94.html
然後專門找上網找不到或是沒有一定答案的
最後一輪前三十分鐘才公布考題,而且題目多到很難全做完
這樣考的人一定會選自己知道得先寫這樣馬上就知道這傢伙大概領域在哪
沒想到大家對這個inner join的問題這麼有興趣
這個問題有兩個角度...
第一個是效率,select * 意思就是全部,如果兩個表格都超大
那就要問為什麼一定要如此詳細的資料,譬如說回傳>100G的資料產生的問題
不是CPU或是Memory而是網路頻寬,尤其在企業級的平台即使設備再好
常常瞬間爆量的傳輸量都有可能癱瘓系統,我之前在銀行就發生過兩次
有人用select * from a inner join b on a.id = b.id向核心系統發指令
因為回傳量瞬間太大導致核心系統無法回應導致癱瘓網路銀行
第二個角度是從ETL的維護, select * 的問題是如果沒有把欄位寫清楚
如果上游加了刪了或改了一個下游沒有在用的欄位就會讓自動化的流程產生錯誤
現在很多ETL都是用軟體像是Wherescape Red, Talend, Informatica等等
現代的ETL軟體大部分可以解決這個問題,因為都用拖拉的
基本上這個問題會出現在使用custom query在某些特定場合
或是在某些程式語言嵌入的SQL
這個select * from a inner join b on a.id = b.id
是要看來應徵的有沒有大型企業ETL或是在實務上對資料量與環境的影響夠不夠敏感
尤其是SAS,因為SAS很特別所有的程式都跑在伺服器上不是客戶端
加上因為安全考量我們沒有用雲端,這個部分就會是面試中一個值得注意的眉角
另外補充說明一下...
其實影響面試的面相很多,像廣義的DS真的一兩樣沒有答得很好也不一定會影響結果
而且很多東西是經驗的累積用錯誤和血汗才能換來
到最後都是綜合評比和這個人適不適合這個位置而已
我個人也是從銀行傳統BI然後再新創ML+BI,現在進政府機關一年後當個小主管這樣
當初能被看上是因為技能樹很廣,但是我旁邊那個博士DS就是除了ML其他不插手
所以我的功能現在就是把所有的鳥事攬在身上,這樣下面的就可以專注做目前最重要的
一個團隊要各種不同的人所以沒有甚麼一定是怎樣
這個行業就是這樣,永遠都學不完
共勉之
※ 編輯: pelicanper (101.100.130.214 紐西蘭), 06/12/2021 03:31:23
※ 編輯: pelicanper (101.100.130.214 紐西蘭), 06/12/2021 04:04:51
PhD那個就開玩笑,學士BS=Bull Shit,碩士MS=More Shit啦哇哈哈
... <看更多>