昨天和量化交易的朋友檢討,記錄一下。
我們做了很多海外期貨的策略,回測10多年下來,看似有效因子的有很多,基本面、籌碼面、總經面、情緒面…等好幾大類,每一類裡面有好幾個大大小小的因子,所以光是一個金融商品,影響我們買賣的因素就有上百個。
問題來了,看似過去10多年能打敗大盤的這些因子,未來是否還能繼續有效?還是我們只是自我感覺良好的overfitting 而已?例如我們只要想辦法在過去10多年的股市大跌躲過那關鍵的幾次崩跌,例如2008、2011、2015、2018、2020,那就能做出一條很好看的績效曲線,但「先看答案再找解法」,會不會未來的崩跌是完全不同的原因?很多量化基金都是因為過去測起來sharp看起來很好而開了槓桿,然後實戰起來發生了某次黑天鵝而爆掉。
那怎麼辦呢?讓測的時間拉更長?但拿30年、50年前的狀況測,跟現在的背景不會差太多嗎?還有參考性嗎?
我目前傾向不是拉長回測期間,而是先把自己當做塔雷伯這種疑神疑鬼的技能點滿。
把看似有效的策略進行各種嚴刑拷打,用各種不同架構來檢驗,如果有疑慮就不用,想不通為什麼這樣能賺那麼多錢就不用,如果測完發現超好賺,通常不是挖到寶,而是哪裡出錯了…
另外,最近常有朋友問我那些短線神人怎麼做的,其實他們和做量化的人的思考方式蠻不一樣的,因為台股很多潛在交易機會,常常是因為某些事件或規則,產生了一些規律,這些規率出現的時間沒有很久,然後又會隨著競爭變多慢慢變得難賺,所以變成這些神人的做法是一發現某招好像不錯用就比較敢大膽的用,做得愈順就玩愈大,一直到開始不順就愈做愈小,然後再找尋其他機會。
這是另一種不錯的思維,雖然對於那種學院派或很講究科學的人來說,會覺得這樣統計樣本不足就直接用很不嚴謹。但這些神人哪管那麼多,一波行情就一次賺了好幾億,反正只要一不順馬上停就好,繼續找下一個的台股新規律,或者等待舊規律恢復。
總之,跟我這次訪談Mike裡面講的一樣,每次市場有新規則改變,就會有一群掌握到新規律的投資者,成了爆賺贏家,而沒有與時俱進的人被淘汰,敏銳的觀察變化,即時調整,是一個優秀的交易者必須付出的努力。
明年操盤室會招募新夥伴/徒弟/實習生,一起研究新策略,不斷搜集大大小小的招式,汰舊換新(我猜很像文藝復興基金他們在做的事?不過我們身處的市場,應該比他們遇到的競爭少很多)。
歡迎對交易有熱情的年輕朋友來試試,這裡的大神還蠻認真教的,也有提供完整資料庫。(有點像教授在帶研究生那樣,一步步完成論文的感覺~)
同時也有10000部Youtube影片,追蹤數超過62萬的網紅Bryan Wee,也在其Youtube影片中提到,...
「overfitting」的推薦目錄:
overfitting 在 แมงเม่าคลับ แบ่งปันความรู้ในการเล่นหุ้น Facebook 八卦
“History doesn't repeat itself, but it does rhyme.”
Mark Twain นักเขียนผู้เป็นตำนานของชาวอเมริกัน
"ประวัติศาสตร์ไม่เคยซ้ำรอย แต่มันมักเกิดขึ้นในลักษณะที่คล้ายๆกัน" คือเรื่องจริงที่มักจะเกิดขึ้นในตลาดหุ้นอยู่เสมอ และเป็นประโยคที่ผมชอบมากๆเมื่อนึงถึงการค้นคว้ากลยุทธ์และแนวทางการลงทุนต่างๆ (Trading-Investing System)
สิ่งที่ผมอยากจะบอกก็คือ เราไม่ควรยึดติดกับรายละเอียดของราคาหุ้นในอดีตมากจนเกินไป เพราะยังไงมันก็ไม่ซ้ำรอยกันเป๊ะๆในทุกๆแท่งทุกเวฟ หรือในทุกๆงบการเงินที่ออกมาในแต่ละไตรมาศหรอกครับ (เชื่อผมเถอะ ระบบการลงทุนที่ Perfect Sync กับข้อมูลในอดีต พอมารันจริงมันเน่าแทบทั้งนั้น เพราะมันติดกับดัก Overfitting-Data Mining โดยไม่รู้ตัว อย่าเผลอเพิ่มเงื่อนไข And ๆๆๆ - If ๆๆๆ กันจนเพลิน)
แต่จงพยายามมองหาสาเหตุและตัวแปรที่ทำให้หุ้นมีลักษณะและ "อาการ" ที่คล้ายๆกันออกมาจะดีกว่า เพราะนั่นคือการจับ "แก่น" ของพฤติกรรมที่มีผลกระทบอย่างแท้จริงกับหุ้นออกมา และขอเพียงตัวแปรง่ายๆเหล่านั้นทำให้คุณชนะตลาด และมีกำไรมากกว่าการขาดทุนโดยเฉลี่ยออกมาได้ (Long-Term Positive Expectancy) คุณก็มีโอกาสที่จะอยู่รอดและทำกำไรจากตลาดหุ้นได้แล้วล่ะครับ ... ถ้าคุณไม่สติแตกและแหกระบบไปก่อนนะครับ :P
ปล. ใครยังไม่เคยอ่านเกี่ยวกับเรื่อง Overfitting Effect ลองไปอ่านกันดูนะครับ ผมเคยเขียนไว้นานแล้วที่ลิงค์นี้ครับ http://mangmaoclub.com/overfitting-effect/
overfitting 在 純靠北工程師 Facebook 八卦
#純靠北工程師2yq
國文老師:削足適履
唐鳳:overfitting
👉 去 GitHub 給我們🌟用行動支持純靠北工程師 https://github.com/init-engineer/init.engineer
📢 匿名發文請至 https://kaobei.engineer/cards/create
🥙 全平台留言 https://kaobei.engineer/cards/show/3842
overfitting 在 Bryan Wee Youtube 的評價
overfitting 在 Travel Thirsty Youtube 的評價
overfitting 在 スキマスイッチ - 「全力少年」Music Video : SUKIMASWITCH / ZENRYOKU SHOUNEN Music Video Youtube 的評價
overfitting 在 過適- 維基百科,自由的百科全書 的相關結果
在統計學中,過適(英語:overfitting,或稱擬合過度)是指過於緊密或精確地匹配特定資料集,以致於無法良好地調適其他資料或預測未來的觀察結果的現象。 ... 過適模型指的是 ... ... <看更多>
overfitting 在 人工智慧-什麼是擬合過度(Overfitting) - 大大通 的相關結果
... 利用機器學習辨識手寫文字,在訓練時得到的訓練誤差很低,但是訓練完的模型辨識文字的效果卻不好,這是什麼原因呢?這就是這張要說明的主題,擬合過度(Overfitting)。 ... <看更多>
overfitting 在 [機器學習ML NOTE]Overfitting 過度學習 - Medium 的相關結果
以上圖來看,綠線就是Overfitting的結果,黑線代表正常的分類模型,綠線雖然完全把訓練資料分類出來,但如果現在有一個新的資料進來(黃色點點), ... ... <看更多>