掃盲系列3: AI或理財機器人以行銷為多

EntrepreneurOPs

曾經提過達成本論壇的階段目標(論壇元老)後要淡出, 那就讓假會又裝懂的我, 再寫一些相關議題, 算是給大家的贈別禮吧. 本人十幾年前有過台股市值最大公司的類data scientist經歷, 也是Oracle ERP的data architect, 並受過SAP Data Warehousing 模組的訓練, 也就是之前上班十幾年的工作都是靠data吃飯(全職操作後更是努力地玩data, 近幾年趕流行也嘗試過AI). 對於不懂大數據或區塊鏈的, 也附上我曾寫過的掃盲文 http://individual-trader.blogspot.com/2019/01/fintech-2.html

近幾年理財機器人或是人工智慧(AI), 因為AlphaGo戰勝棋王的宣傳變得很夯, 不少人以為面對類似的市場戰局(抉擇), 人工智慧必定很有發揮的空間; 現實卻殘忍地告訴您, AI團隊努力了幾年卻宣告失敗了, 改轉進醫療相關領域, 可參考連結報導 https://zhuanlan.zhihu.com/p/31913355

簡化地告訴您, 人工展現智慧前, 必須有一段機器學習的過程; 而這機器學習(ML)通常可以這樣定義：「透過從過往的資料和經驗中學習並找到其運行規則。」然而正是這 [資料] 和[經驗] 侷限了一切!

黑天鵝的由來大家都知道吧? 話說古時候北半球的人, 一輩子根本沒機會看過南半球的天鵝有些是黑色的, 因此他的 [資料] 和[經驗] 就侷限在天鵝只會有白色的, 所以我們拿來訓練機器的資料也只能會有白色的(沒發生過的資料, 人類也無能更不可能預見出來), 當這種訓練下來的人工智慧機器, 後來遇到它沒見過的狀況(黑天鵝)時, 您還會認為它會做出有智慧的反應嗎? 哪怕它學習時用的演算法是什麼manifold regularization或是TSVM都沒三小路用

市場因為參與者眾多, 組成分子又會汰舊換新(不管是被抬出場或真正死亡), 市場老師的行為是一直在改變的, 對人工智慧機器來說, 就是不斷地用新出的黑天鵝(它的學習資料庫不存在這些資料), 去挑戰它好不容易用演算法搞出來的規則, 這只會讓它不斷地傻眼而已. 圍棋變數多但仍是有限解(雖窮舉後的資料龐大), 人類可以用有限解的部分集合(ex: 棋譜資料)去訓練電腦, 讓它能在限定時間內算出最佳可行解; 但交易市場屬於無限解... 很難辦!

關於人工智慧, 您可以把機器想像成很小的小孩, 看您要怎樣教育他, 每個人教育小孩的方法都不同. 這就是我說準備訓練資料時的domain expert最重要, 不是只有我們這種data scientist是關鍵. 根據完全同樣一份市場的報價歷史資料, 您可以將訓練資料準備成好幾種, 一種是讓機器去學遇到哪幾種狀況同時存在時去做交易的; 另一種是讓機器去學後面的人心計算是怎麼運作, 然後據此再去交易的, 而其他種則看domain expert的創意. 像小孩學課程一樣, 教材不同, 學出來的孩子技能也都不同. 當然教材笨笨的, 學出來的小孩也是笨笨的, 教材裡面沒涵蓋的(ex: 黑天鵝), 被教育出來的小孩要知道也難. 所以才強調AI的重點不在後面的技術, 反在於訓練資料的準備

結論回到好的操作方法絕對不是單從市場實戰經驗導出來的, 也可以看做在歷史資料(實戰經驗)中找賺錢的行為或方法, 是有問題的. 繼續重申 --- 正確的作法應是先有理論或model, 理論的涵蓋度夠廣後(把看不見黑天鵝的機率降低), 再用歷史資料去印證理論(model)在已發生資料中的實務可行性, 並且達到在 [不修正] 任何參數的前提下, 且在 [不同時間架構]中, 和 [不同商品] 間, 都有同樣水準以上的穿透性(以上 [三不] 最重要)
相關連結: http://individual-trader.blogspot.com/2013/09/blog-post.html

登錄/註冊後可看大圖

ANDYSU

感謝分享投資心得

EntrepreneurOPs

有人問說: 新聞中的沃牛一號是如何辦到絕對獲利的？是短期現象（AI根據短時間（3年）的資料在短時間內沒遇到黑天鵝）還是自吹自擂的可能性比較大？

我的回答是: 請注意它的用詞是: [回測]的數據令人震驚; 我也常開發出回測令人震驚的策略, 實際上線使用後也真的令我震驚, 賠錢到趕忙讓程式下架. 絕對獲利就只是不賠另種說法而已, 要做到沒很難, 我每週公開的實單測試便屬於這種, 但要承受獲利低的缺點, 大多數情況都是trade-off, 很難兩者兼得的, 如果可以, 這種大發現會得諾貝爾獎 --- Harry Markowitz的論文得獎(同時獲利最大化+風險最小化)

關於人工智慧, 您可以把機器想像成很小的小孩, 看您要怎樣教育他, 每個人教育小孩的方法都不同. 這就是我說準備訓練資料時的domain expert最重要, 不是只有我們這種data scientist是關鍵. 根據完全同樣一份市場的報價歷史資料, 您可以將訓練資料準備成好幾種, 一種是讓機器去學遇到哪幾種狀況同時存在時去做交易的; 另一種是讓機器去學後面的人心計算是怎麼運作, 然後據此再去交易的, 而其他種則看domain expert的創意. 像小孩學課程一樣, 教材不同, 學出來的孩子技能也都不同. 當然教材笨笨的, 學出來的小孩也是笨笨的, 教材裡面沒涵蓋的(ex: 黑天鵝), 被教育出來的小孩要知道也難. 所以才強調AI的重點不在後面的技術, 反在於訓練資料的準備

EntrepreneurOPs

ant1964 發表於 2019-3-9 17:46
哈哈！其實我還有果園（梅樹、李樹、熱帶水蜜桃、紅心芭樂、樹葡萄、百香果、木瓜～都種一棵）及花園和菜園 ...

羨慕您的生活
要是我的退休生活能像您看齊就好了

ant1964

哈哈！其實我還有果園（梅樹、李樹、熱帶水蜜桃、紅心芭樂、樹葡萄、百香果、木瓜～都種一棵）及花園和菜園喔！共同擠在大約20幾坪的後花園^_^
10幾年前，全部一手規劃、設計、施工（太座有幫忙施工），到現在一年四季可吃到不同的水果、也可觀賞不一樣的花兒（主力是睡蓮及扶桑花）及悠游自在的小魚兒，人生好不快哉！
現在的目標，就是好好交易，一直玩到掛～
AI未來成功的機會很高，但在交易這個領域，也只是一大群不同的人類～

EntrepreneurOPs

ant1964 發表於 2019-3-8 14:56
金融市場跟地球生態是一樣的道理
需要多元.多種類.多樣性才比較健全

有生態池, 真是好雅興啊

sec2100

ant1964 發表於 2019-3-8 14:56
金融市場跟地球生態是一樣的道理
需要多元.多種類.多樣性才比較健全

1964, 好嚮往您的生態池。

EntrepreneurOPs

JonesHon 發表於 2019-3-8 16:09
AI 目前應該還是無法超越人類創意、天馬行空的邏輯

就像下面這則新聞

創意目前只有人類會有, 機器還不會, 而未來則不可知

William

sec2100 發表於 2019-3-8 18:26
我這個星期二剛好吃飯認識一個在美國oracle工作近20年的朋友，他77年台大資工畢業，二年前回台，現在在集邦 ...

到後來會不會演變成反AI操作，坑殺使用AI的散戶呢?
演算法是論文衍生出來，大家都知道，尤其全球金融界怪獸比我們更知道最新的研究，且他們可以請MIT幫忙做研究；等到我們都上車了，就利用AI的特性及弱點，反方向操作。當然，會有一段時間的養套殺。
例如:前些日子的TRF，2008年美國房地產貸款所引爆的危機(美國房地產商是2008年的最大贏家，散戶向銀行借錢後交給房地產商，散戶欠銀行的錢，銀行再將債權賣出去...)

sec2100

EntrepreneurOPs 發表於 2019-3-8 20:01
您已經製造了好幾次我重出江湖的動機 哈哈

自營家，我看你還是留下來好了。你走了之後，選擇幫會變的單調太多。