Optionshare 選擇幫

標題: 掃盲系列3: AI或理財機器人以行銷為多 [打印本頁]

作者: EntrepreneurOPs 時間: 2019-3-7 23:13
標題: 掃盲系列3: AI或理財機器人以行銷為多
本帖最後由 EntrepreneurOPs 於 2020-11-29 11:02 編輯

曾經提過達成本論壇的階段目標(論壇元老)後要淡出, 那就讓假會又裝懂的我, 再寫一些相關議題, 算是給大家的贈別禮吧. 本人十幾年前有過台股市值最大公司的類data scientist經歷, 也是Oracle ERP的data architect, 並受過SAP Data Warehousing 模組的訓練, 也就是之前上班十幾年的工作都是靠data吃飯(全職操作後更是努力地玩data, 近幾年趕流行也嘗試過AI). 對於不懂大數據或區塊鏈的, 也附上我曾寫過的掃盲文 http://individual-trader.blogspot.com/2019/01/fintech-2.html

近幾年理財機器人或是人工智慧(AI), 因為AlphaGo戰勝棋王的宣傳變得很夯, 不少人以為面對類似的市場戰局(抉擇), 人工智慧必定很有發揮的空間; 現實卻殘忍地告訴您, AI團隊努力了幾年卻宣告失敗了, 改轉進醫療相關領域, 可參考連結報導 https://zhuanlan.zhihu.com/p/31913355

簡化地告訴您, 人工展現智慧前, 必須有一段機器學習的過程; 而這機器學習(ML)通常可以這樣定義：「透過從過往的資料和經驗中學習並找到其運行規則。」然而正是這 [資料] 和[經驗] 侷限了一切!

黑天鵝的由來大家都知道吧? 話說古時候北半球的人, 一輩子根本沒機會看過南半球的天鵝有些是黑色的, 因此他的 [資料] 和[經驗] 就侷限在天鵝只會有白色的, 所以我們拿來訓練機器的資料也只能會有白色的(沒發生過的資料, 人類也無能更不可能預見出來), 當這種訓練下來的人工智慧機器, 後來遇到它沒見過的狀況(黑天鵝)時, 您還會認為它會做出有智慧的反應嗎? 哪怕它學習時用的演算法是什麼manifold regularization或是TSVM都沒三小路用

市場因為參與者眾多, 組成分子又會汰舊換新(不管是被抬出場或真正死亡), 市場老師的行為是一直在改變的, 對人工智慧機器來說, 就是不斷地用新出的黑天鵝(它的學習資料庫不存在這些資料), 去挑戰它好不容易用演算法搞出來的規則, 這只會讓它不斷地傻眼而已. 圍棋變數多但仍是有限解(雖窮舉後的資料龐大), 人類可以用有限解的部分集合(ex: 棋譜資料)去訓練電腦, 讓它能在限定時間內算出最佳可行解; 但交易市場屬於無限解... 很難辦!

關於人工智慧, 您可以把機器想像成很小的小孩, 看您要怎樣教育他, 每個人教育小孩的方法都不同. 這就是我說準備訓練資料時的domain expert最重要, 不是只有我們這種data scientist是關鍵. 根據完全同樣一份市場的報價歷史資料, 您可以將訓練資料準備成好幾種, 一種是讓機器去學遇到哪幾種狀況同時存在時去做交易的; 另一種是讓機器去學後面的人心計算是怎麼運作, 然後據此再去交易的, 而其他種則看domain expert的創意. 像小孩學課程一樣, 教材不同, 學出來的孩子技能也都不同. 當然教材笨笨的, 學出來的小孩也是笨笨的, 教材裡面沒涵蓋的(ex: 黑天鵝), 被教育出來的小孩要知道也難. 所以才強調AI的重點不在後面的技術, 反在於訓練資料的準備

結論回到好的操作方法絕對不是單從市場實戰經驗導出來的, 也可以看做在歷史資料(實戰經驗)中找賺錢的行為或方法, 是有問題的. 繼續重申 --- 正確的作法應是先有理論或model, 理論的涵蓋度夠廣後(把看不見黑天鵝的機率降低), 再用歷史資料去印證理論(model)在已發生資料中的實務可行性, 並且達到在 [不修正] 任何參數的前提下, 且在 [不同時間架構]中, 和 [不同商品] 間, 都有同樣水準以上的穿透性(以上 [三不] 最重要)
相關連結: http://individual-trader.blogspot.com/2013/09/blog-post.html
[attach]4041[/attach]

作者: William 時間: 2019-3-8 10:08
本帖最後由 William 於 2019-3-8 10:09 編輯

謝謝。
我也認為資訊系統及大數據等軟硬體及方法論，可以幫助投資人分析決策使用操作，但是無法取代投資人的決策的根本大理。

作者: EntrepreneurOPs 時間: 2019-3-8 10:24

William 發表於 2019-3-8 10:08
謝謝。
我也認為資訊系統及大數據等軟硬體及方法論，可以幫助投資人分析決策使用操作，但是無法取代投資人 ...

感謝林會的認同

作者: William 時間: 2019-3-8 10:47

EntrepreneurOPs 發表於 2019-3-8 10:24
感謝林會的認同

不客氣。試想，倘若全面使用機器人投資，那麼資料相類似、演算法相類似，會不會擴大系統性風險及正相關性呢?

作者: disciplinetrade 時間: 2019-3-8 12:04
謝謝分享~

昨天也看了有關金融業的三大趨勢

被動化投資、大數據、機器人顧問

覺得這還是很有發展空間

作者: Isaacwu994 時間: 2019-3-8 14:10
若給AI夠多的資料，涵蓋的範圍夠廣，譬如幾十年的資料，幾百個市場，正常人類考慮不了這麼大量的資訊，但對AI卻只是運算速度跟儲存空間的問題。就像一個累積幾百年歷史經驗的老師父，是不是能讓AI對戰人類（壽命只有幾十年和有限的思考力）取得優勢呢？

作者: EntrepreneurOPs 時間: 2019-3-8 14:34
本帖最後由 EntrepreneurOPs 於 2019-3-9 08:42 編輯

Isaacwu994 發表於 2019-3-8 14:10
若給AI夠多的資料，涵蓋的範圍夠廣，譬如幾十年的資料，幾百個市場，正常人類考慮不了這麼大量的資訊，但對 ...

現階段做不到, 未來我不敢說!

如果您對AI技術有一點了解的話, 搞AI很耗各種資源的. 舉自己例子來說(用R語言寫的, 不知用Python會不會比較快, 我是覺得不會), 曾經花過30天才準備完約3000筆訓練資料, 用等級最高的CPU i7來跑(沒有另加AGP), 跑個沒很難的演算法(SVM)讓機器去找rules, 不誇張需要跑3天, 您都會以為機器是不是當掉了! 所以您可以看到為啥前幾年AI流行的時候, 賣AGP可加速運算的nVidia股價大飆高. AGP能加速多少? 算很厲害讓機器三天改跑半天就好, 您還是很可能誤認是當機的(還只有三千筆而已) 哈哈

所以太小看現階段AI所需要的資源(軟. 硬體. 各種專家. 訓練資料), 幾十年的資料? 幾百個市場? 單一公司很難做到, 即便是google也難! 況且最大的問題在於各式訓練資料的準備(clean, ETL, label), 這需要很專精的domain expert和data scientist, 並且要花去最多的時間(可能要比訓練機器更久), 加上適格人才難尋啊! 如果在哪一個市場成功了, 保證google會出來大吹大擂, 就像當初打敗棋王一樣, 沒有這種行銷, 後面的投資者會繼續出錢? 股價怎辦? 怎麼吸引更多人才? ....???

確實跑多一點訓練資料, 有機會讓機器聰明一點, 但還是不脫主文所提過的 --- 沒發生過的資料, 人類不知道也無能力, 更不可能預見出來, 只能繼續發生遇見黑天鵝而傻眼的狀況

其實, 如果有真正強的domain expert和data scientist, 可以避免機器重複學類似的東西, 資料多若沒篩過, 不會比較好, 所以上面也說 data clean更費工

p.s. AGP是GPU古時候的說法, 用A (Accelerated)比較有加速感

作者: ant1964 時間: 2019-3-8 14:56
金融市場跟地球生態是一樣的道理
需要多元.多種類.多樣性才比較健全

我有挖一個生態池
動物--烏龜.鬥魚.玉如意(主角).錦鯉.孔雀魚.小蝦及多種不知名的螺貝
植物--荷花.菱角.荸薺.布袋蓮.睡蓮(主角)水生鳶尾花.印度杏菜.大萍.輪傘草.小蘊草及槐葉蘋(要常除)
多年來生態盎然

作者: EntrepreneurOPs 時間: 2019-3-8 14:59

disciplinetrade 發表於 2019-3-8 12:04
謝謝分享~

昨天也看了有關金融業的三大趨勢

您說得對
這些都還是很有發展的空間, 包含AI也是

作者: JonesHon 時間: 2019-3-8 16:09
本帖最後由 JonesHon 於 2019-3-8 16:16 編輯

AI 目前應該還是無法超越人類創意、天馬行空的邏輯

就像下面這則新聞
如果沒有人類給過這種邏輯資料
CPU可能算到燒壞，還是不知道為何！？

據說很多人用這２組密碼『 ji32k7au4a83 』、『 ji394su3 』

https://www.mirrormedia.mg/story/20190306edi015

這２組，跟上面２組的密碼邏輯是一樣的意思
『 ix d nhpe lomf 』、『ix hx pns』

.

作者: sec2100 時間: 2019-3-8 18:26
本帖最後由 sec2100 於 2019-3-8 18:29 編輯

我這個星期二剛好吃飯認識一個在美國oracle工作近20年的朋友，他77年台大資工畢業，二年前回台，現在在集邦科技工作。他找了10個台、清、交畢業的人，共同要做一個machine learning的一套選股決策模型，有了初步的成果。飯後(悠克電子的春酒)，我跟他坐捷運談了一下，很有趣，什麼decision forest……。

自營家，有空可以介紹你們認識一下，我在旁邊玩我的手機，你們聊，哈哈。

作者: EntrepreneurOPs 時間: 2019-3-8 20:01

sec2100 發表於 2019-3-8 18:26
我這個星期二剛好吃飯認識一個在美國oracle工作近20年的朋友，他77年台大資工畢業，二年前回台，現在在集邦 ...

您已經製造了好幾次我重出江湖的動機哈哈

作者: sec2100 時間: 2019-3-8 21:41

EntrepreneurOPs 發表於 2019-3-8 20:01
您已經製造了好幾次我重出江湖的動機哈哈

自營家，我看你還是留下來好了。你走了之後，選擇幫會變的單調太多。

作者: William 時間: 2019-3-8 22:17

sec2100 發表於 2019-3-8 18:26
我這個星期二剛好吃飯認識一個在美國oracle工作近20年的朋友，他77年台大資工畢業，二年前回台，現在在集邦 ...

到後來會不會演變成反AI操作，坑殺使用AI的散戶呢?
演算法是論文衍生出來，大家都知道，尤其全球金融界怪獸比我們更知道最新的研究，且他們可以請MIT幫忙做研究；等到我們都上車了，就利用AI的特性及弱點，反方向操作。當然，會有一段時間的養套殺。
例如:前些日子的TRF，2008年美國房地產貸款所引爆的危機(美國房地產商是2008年的最大贏家，散戶向銀行借錢後交給房地產商，散戶欠銀行的錢，銀行再將債權賣出去...)

作者: EntrepreneurOPs 時間: 2019-3-9 07:56

JonesHon 發表於 2019-3-8 16:09
AI 目前應該還是無法超越人類創意、天馬行空的邏輯

就像下面這則新聞

創意目前只有人類會有, 機器還不會, 而未來則不可知

作者: sec2100 時間: 2019-3-9 11:19

ant1964 發表於 2019-3-8 14:56
金融市場跟地球生態是一樣的道理
需要多元.多種類.多樣性才比較健全

1964, 好嚮往您的生態池。

作者: EntrepreneurOPs 時間: 2019-3-9 15:03

ant1964 發表於 2019-3-8 14:56
金融市場跟地球生態是一樣的道理
需要多元.多種類.多樣性才比較健全

有生態池, 真是好雅興啊

作者: ant1964 時間: 2019-3-9 17:46
哈哈！其實我還有果園（梅樹、李樹、熱帶水蜜桃、紅心芭樂、樹葡萄、百香果、木瓜～都種一棵）及花園和菜園喔！共同擠在大約20幾坪的後花園^_^
10幾年前，全部一手規劃、設計、施工（太座有幫忙施工），到現在一年四季可吃到不同的水果、也可觀賞不一樣的花兒（主力是睡蓮及扶桑花）及悠游自在的小魚兒，人生好不快哉！
現在的目標，就是好好交易，一直玩到掛～
AI未來成功的機會很高，但在交易這個領域，也只是一大群不同的人類～

作者: EntrepreneurOPs 時間: 2019-3-9 23:19

ant1964 發表於 2019-3-9 17:46
哈哈！其實我還有果園（梅樹、李樹、熱帶水蜜桃、紅心芭樂、樹葡萄、百香果、木瓜～都種一棵）及花園和菜園 ...

羨慕您的生活
要是我的退休生活能像您看齊就好了

作者: EntrepreneurOPs 時間: 2019-3-10 09:47
有人問說: 新聞中的沃牛一號是如何辦到絕對獲利的？是短期現象（AI根據短時間（3年）的資料在短時間內沒遇到黑天鵝）還是自吹自擂的可能性比較大？

我的回答是: 請注意它的用詞是: [回測]的數據令人震驚; 我也常開發出回測令人震驚的策略, 實際上線使用後也真的令我震驚, 賠錢到趕忙讓程式下架. 絕對獲利就只是不賠另種說法而已, 要做到沒很難, 我每週公開的實單測試便屬於這種, 但要承受獲利低的缺點, 大多數情況都是trade-off, 很難兩者兼得的, 如果可以, 這種大發現會得諾貝爾獎 --- Harry Markowitz的論文得獎(同時獲利最大化+風險最小化)

關於人工智慧, 您可以把機器想像成很小的小孩, 看您要怎樣教育他, 每個人教育小孩的方法都不同. 這就是我說準備訓練資料時的domain expert最重要, 不是只有我們這種data scientist是關鍵. 根據完全同樣一份市場的報價歷史資料, 您可以將訓練資料準備成好幾種, 一種是讓機器去學遇到哪幾種狀況同時存在時去做交易的; 另一種是讓機器去學後面的人心計算是怎麼運作, 然後據此再去交易的, 而其他種則看domain expert的創意. 像小孩學課程一樣, 教材不同, 學出來的孩子技能也都不同. 當然教材笨笨的, 學出來的小孩也是笨笨的, 教材裡面沒涵蓋的(ex: 黑天鵝), 被教育出來的小孩要知道也難. 所以才強調AI的重點不在後面的技術, 反在於訓練資料的準備

作者: ANDYSU 時間: 2019-3-25 13:29
感謝分享投資心得

歡迎光臨 Optionshare 選擇幫 (https://mail.optionshare.tw/)