ในบทความนี้ ผมได้หยิบนำเนื้อหาในงานสัมมนา QuantCon 2015 ที่จัดโดย Quantopian ในหัวข้อ “10 Mistakes Quants Make That Cause Backtest Lie” หรือ 10 ความผิดพลาดของนักพัฒนาระบบการลงทุน ที่ทำให้ผลการทดสอบ Backtest ออกมาดูดีแต่เมื่อนำไปลงทุนจริงกลับพังไม่เป็นท่าซึ่งบรรยายโดย Dr. Tucker Balch Managing Director ด้าน AI Research ของ J.P. Morgan AI
ซึ่งผมหวังว่าความรู้ที่มาจากบริษัทด้านการเงินการลงทุนชั้นนำระดับโลกนี้ จะช่วยให้นักลงทุนที่พัฒนาระบบการลงทุนอยู่จะสามารถหลีกเลี่ยงข้อผิดพลาดดังกล่าวเหล่านี้ได้ หรือนักลงทุนที่สนใจการลงทุนด้วย Algorithm, AI หรือ Machine Learning จะได้รู้วิธีในการตรวจสอบความน่าเชื่อถือของผลลัพธ์ที่มาจากการวิจัย Backtest ในเบื้องต้นครับ
ทำความรู้จักกับ Dr. Tucker Balch
แต่ก่อนที่เราจะเข้าไปถึงเนื้อหาหลักนั้น เราจะมาทำความรู้จักกับ Dr. Tucker Balch กันก่อนสักเล็กน้อย โดยในปัจจุบัน Dr. Tucker Balch นั้นดำรงตำแหน่ง Managing Director ด้าน AI Research ที่ J.P. Morgan AI ซึ่งเป็นบริษัทย่อยของ J.P. Morgan โดยพอจะสรุปประวัติและผลงานในอดีตของเขาได้ดังนี้
- ผู้เชี่ยวชาญด้าน Interactive Computing ที่สถาบันเทคโนโลยี Georgia (Georgia Institute of Technology)
- ผู้ร่วมก่อตั้งบริษัท Lucena Research ซึ่งเป็นบริษัทด้าน Fin-Tech ที่มีเชี่ยวชาญในด้าน Computational Finance, Quantitative Analysis & Software Development โดยสามารถดูรายละเอียดเพิ่มเติมได้ที่
- เป็นผู้สอนทางด้าน Artificial Intelligence และ Finance
- เป็นผู้สอนที่ MOOCs ภายใต้หัวข้อ Machine Learning for Trading
- วิจัยและตีพิมพ์เผยแพร่บทวิจัยมากกว่า 120 ชิ้นที่เกี่ยวข้องกัย Robotics และ Machine Learning
ภาพที่ 1 : Dr. Tucker Balch ขณะบรรยายภายในงาน QuantCon 2015 ภายใต้หัวข้อ “10 Mistakes Quants Make That Cause Backtests to Lie”
โดยเนื้อหาที่ Dr. Tucker Balch ได้บรรยายไว้นั้นไม่เพียงแต่จะพูดถึงความผิดพลาดที่เกิดขึ้นจากผู้วิจัยในกระบวนการทดสอบวิจัยย้อนหลัง (Backtest) จนก่อให้เกิดผลลัพธ์ที่ดีเกินจริงแล้ว ยังพูดถึงวิธีการป้องกันความผิดพลาดดังกล่าว เพื่อให้ผลลัพธ์จากการทดสอบ Backtest มีความน่าเชื่อถือมากขึ้นนั่นเอง
ความสำคัญของการ Backtest
เนื่องจากการทดสอบวิจัยย้อนหลัง (Backtest) เป็นการจำลองเพื่อประเมินถึงความมีประสิทธิภาพของกลยุทธ์การลงทุนจากข้อมูลการซื้อขายในอดีต ซึ่งเป็นที่นิยมกันอย่างมากในกลุ่ม Hedge Funds และนักวิจัยที่อยากจะทำการทดสอบกลยุทธ์การลงทุนนั้นๆ ก่อนที่จะนำไปลงทุนจริงๆ โดยข้อดีของมันก็คือ ทำให้เราสามารถที่จะทดสอบประสิทธิภาพของแนวคิดต่างๆได้อย่างรวดเร็ว และปฏิเสธกลยุทธ์หรือแนวคิดการลงทุนที่ไม่มีประสิทธิภาพออกไปก่อนได้
แต่อย่างไรก็ตามในหลายๆกรณีนั้นจะพบว่า กลยุทธ์การลงทุนให้ผลลัพธ์ที่ดีในขณะที่ทำการทดสอบ Backtest แต่เมื่อนำไปใช้จริงกลับล้มเหลวไม่เป็นท่า ซึ่งในจุดนี้ทำให้นักลงทุนหลายๆคนเข้าใจว่าการวิจัยทดสอบย้อนหลัง (Backtest) นั้นไม่น่าเชื่อถือ
แต่จริงๆแล้วเหตุผลของการที่ผล Backtest นั้นดีเกินจริง (Optimistics Backtest) นั้นก็มีอยู่ด้วยกันหลายประการซึ่งบางทีก็เกิดมาจากปัจจัยที่นอกเหนือการควบคุมของผู้วิจัย แต่ก็มีหลายๆครั้งที่ความผิดพลาดนั้นเกิดขึ้นมาจากการมองข้ามในเรื่องทั่วๆไป (Common Mistake) หรือเกิดจากสมมุติฐานที่ผิดผลาดอย่างร้ายแรง (Insidious Mistake) ของนักวิจัย
ซึ่งในการบรรยายนี้ Dr. Tucker Balch จะมาแสดงให้เห็นว่าเราจะการหลีกเลี่ยงความผิดพลาดดังกล่าวได้อย่างไร โดยได้แสดงข้อผิดพลาด 10 ข้อ ที่มักเกิดระหว่างการวิจัยทดสอบและพัฒนากลยุทธ์การลงทุน โดยจะเรียงตามลำดับความสำคัญจากมากไปน้อย ได้ดังนี้
ความผิดพลาดที่ 1 : จากกำหนดช่วงเวลา In-sample ด้วยข้อมูลทั้งหมดที่เรามี
กลยุทธ์หลายๆกลยุทธ์จำเป็นที่จะต้องมีชุดข้อมูลสำหรับการทดสอบและสร้างโมเดลออกมา(In-Sample Data) ยกตัวอย่างเช่น โมเดลการพยากรณ์ราคาในอนาคตด้วยสมการการถดถอยเชิงเส้น (Linear Regression) ซึ่งเราจำเป็นต้องใช้ข้อมูลจำนวนหนึ่งสำหรับการสร้างโมเดล ซึ่งมันก็สมเหตุสมผลที่นักวิจัยอยากที่จะใช้ข้อมูลจำนวนมากที่สุดเท่าที่จะทำได้ในการนำมาสร้างโมเดลที่แม่นยำ
แต่อย่างไรก็ตาม เราต้องไม่ใช่ข้อมูลทั้งหมดที่เรามี เพราะมันจะทำให้ผลลัพธ์ของโมเดลนั้นดูดีเกินจริงเป็นอย่างมากจากผลของการพยายามที่จะหาตัวแปรที่ให้ผลลัพธ์ที่ดีที่สุด (Overfit) ด้วยคอมพิวเตอร์ จนเป็นเหตุทำให้ผลลัพธ์นั้นออกมาดีจนเกินจริง และไม่สามารถเชื่อถือได้ ซึ่งนี่ก็คือ ข้อผิดพลาดอย่างแรก ที่นักวิจัยหลายๆคนมักจะทำในการทดสอบ Backtest
วิธีการป้องกัน : วิธีที่ปฏิบัติที่ดีที่สุดคือ การแบ่งชุดข้อมูลสำหรับการทดสอบออกเป็น 2 ชุด คือ
- ข้อมูลชุดแรกใช้สำหรับการสร้างและพัฒนาโมเดล (In-Sample Data) โดยเราอาจจะใช้ข้อมูลตั้งแต่ก่อนปี 2007 เป็นต้น
- ข้อมูลชุดที่สอง ที่นำมาใช้ทดสอบ โมเดลที่เราพัฒนามาเรียบร้อยแล้ว โดยการทดสอบกับข้อมูลที่โมเดลยังไม่เคยเจอนั้น ซึ่งเรียกว่า Out-of-Sample Data ยกตัวอย่างเช่น ข้อมูลตั้งแต่หลังปี 2008 เป็นต้น
อย่างไรก็ตามข้อควรระวังคือ ถ้าคุณพัฒนาโมเดลด้วยข้อมูลในปี 2014 ถึงปัจจุบัน แต่คุณนำข้อมูลที่ได้ไปทดสอบ Out of Sample กับข้อมูลก่อนหน้าปี 2014 เช่น ปี 2008-2013 จะเท่ากับว่าจริงๆแล้วโมเดลของเราพัฒนาโดยแอบดูอนาคตหรือที่เรียกว่า Lookahead Bias นั่นเอง
ความผิดพลาดที่ 2 : การใช้ฐานข้อมูลที่แฝงไปด้วย Survivor Bias
เพื่อให้เข้าใจในประเด็นนี้ได้ง่ายขึ้น Dr. Tucker Balch ได้ยกตัวอย่างว่า หากผมอยากทำการทดสอบว่ายาตัวหนึ่งสามารถลดความดันเลือดได้ โดยมีขั้นตอนการทดสอบดังนี้
- กลุ่มตัวอย่างที่เกิดจากการสุ่มมาทั้งหมด 500 คน
- ทำการให้ยากับกลุ่มตัวอย่างดังกล่าวทุกๆวัน เป็นระยะเวลาทั้งสิ้น 5 ปี
- ประเมินระดับความดันเลือดในแต่ละวัน
โดยในช่วงแรกของการทดสอบพบว่าค่าเฉลี่ยความดันเลือด (BP) ของผู้ร่วมทดลองมีค่าเท่ากับ 160/110 และเมื่อจบการทดลองพบว่าค่าเฉลี่ยความดันเลือดมีค่าเท่ากับ 120/80 ซึ่งมีการลดลงอย่างมีนัยยะสำคัญ
ประเด็นก็คือ หากเราสนใจแค่ข้อมูลเพียงด้านบนเพียงอย่างเดียว เราจะสรุปผลการทดลองได้ว่ายาตัวนี้มีประสิทธิภาพในการลดความดันเลือด แต่ในความเป็นจริงแล้วเราไม่สามารถด่วนสรุปเช่นนั้นได้ เนื่องจากหากผมให้ข้อมูลเพิ่มเติมว่า จริงๆแล้วมีคนทั้งสิ้น 58 คนเสียชีวิตจากการทดลอง และมี 1 คนที่ใช้ยาแล้วความดันขึ้นสูงจนตาย ดังนั้นที่จริงแล้วเราจึงไม่สามารถด่วนสรุปค่าทางสถิติจากกลุ่มตัวอย่างที่อยู่รอดในตอนสุดท้ายเท่านั้นได้
เช่นเดียวกันในกรณีของตลาดหุ้น หากเราทำการทดสอบย้อนหลังตั้งแต่ปี 2008 โดยกำหนด Universe เป็นหุ้นที่อยู่ในกลุ่มดัชนี S&P 500 ในปัจจุบัน ซึ่งการกระทำนี้ถือว่าผิดพลาดอย่างมหันต์โดยสามารถดูผลกระทบของมันได้จากภาพด้านล่าง (ภาพนำมาจาก Slide การบรรยายของ Dr. Tucker Balch)
ภาพที่ 1 : ภาพดัชนี S&P 500 (เส้นสีดำ) กับผลตอบแทนของหุ้นที่อยู่ในดัชนี S&P 500 ในปี 2012 (เส้นสีเขียว) ซึ่งหุ้นกลุ่มนี้อยู่รอดจากวิกฤติซับไพรม์ปี 2008 ทั้งสิ้น
ภาพที่ 2 : ภาพดัชนี S&P 500 (เส้นสีดำ) , ผลตอบแทนของหุ้นที่อยู่ในดัชนี S&P 500 ในปี 2012 (เส้นสีเขียว) ซึ่งหุ้นกลุ่มนี้อยู่รอดจากวิกฤติซับไพรม์ปี 2008 ทั้งสิ้น และผลตอบแทนของหุ้นที่อยู่ในดัชนี S&P 500 ในปี 2008 (เส้นสีแดง) ซึ่งมีบางตัวไม่สามารถอยู่รอดผ่านพ้นวิกฤติซับไพรม์มาได้
โดยสิ่งที่่เกิดขึ้นคือ หากเราใช้หุ้นที่อยู่ในดัชนี S&P 500 ในช่วงปี 2008 เราจะพบว่ามีหุ้นกว่า 10% ที่เลิกกิจการและถูกถอดถอนออกจากตลาดหุ้น (Delisted) ซึ่งหากเราทำการทดสอบกับชุดข้อมูลที่มีแต่หุ้นที่อยู่รอด (Survivor) เท่านั้น จะได้ผลดังนี้
ภาพที่ 3 : ภาพความแตกต่างของการทดสอบกลยุทธ์บนฐานข้อมูลมี Survivorship Bias (เส้นสีเขียว) เปรียบเทียบกับทดสอบบนฐานข้อมูลที่ปราศจาก Survivorship Bias (เส้นสีม่วง) ข้อมูลจาก Lucena Research (ภาพจากสไลด์ประกอบการบรรยายของ Dr. Tucker Balch)
โดยสิ่งที่ Lucena Research พบก็คือ การทดสอบบนฐานข้อมูลที่มี Survivorship Bias นั้นจะมีผลตอบแทนเพิ่มขึ้นมากกว่าการทดสอบบนฐานข้อมูลที่ปราศจาก Survivorship Bias มากถึง 3-5% ซึ่งเป็นสาเหตุข้อ 2 ที่ทำให้ผลลัพธ์ดีเกินจริง
วิธีการป้องกัน : ทำการทดสอบกลยุทธ์การลงทุนบนฐานข้อมูลที่ประกอบไปด้วยหุ้นทั้งหมดในอดีต (โดยฐานข้อมูล AlphaSuite ของ SiamQuant มีการเก็บข้อมูลหุ้นที่ถูก Delisted ไปทั้งหมด)
ความผิดพลาดที่ 3 : การตั้งสมมติฐานว่าเรารู้ราคาปิด (Close Price) ของแต่ละวัน
สำหรับความผิดพลาดในข้อ 3 นี้ เกิดจากการที่นักวิจัยทำการตั้งสมมติฐานว่า เขาสามารถที่จะรู้ข้อมูลราคาปิดและสามารถส่งคำสั่งซื้อขายที่ราคาปิดนั้นได้ ยกตัวอย่างเช่น การใช้ข้อมูลราคาปิด (Closing Price) สำหรับการคำนวณ Technical Indicator และกลยุทธ์การลงทุนใช้ Indicator เหล่านั้นเป็นสัญญาณการซื้อขาย
ซึ่งความผิดพลาดจุดนี้เอง ทำให้กลยุทธ์นั้นมี Lookahead Bias หรือการแอบมองอนาคต เนื่องจากหากเราใช้ราคาปิดในการคำนวณค่าของ Indicator เราจะสามารถทำได้แค่การทดสอบ Backtest เท่านั้น แต่เมื่อนำไปใช้ปฏิบัติจริง เราจะไม่มีทางที่จะรู้ราคาปิดของวันนั้นๆได้เลยจนกว่าตลาดจะปิด ซึ่งเราก็จะไม่สามารถส่งคำสั่งตามในผล Backtest ได้ โดย Lookahead Bias เช่นนี้ มักทำให้ผลลัพธ์จากการทดสอบ Backtest ดีเกินจริงนั่นเอง
หรืออีกหนึ่งตัวอย่างที่เห็นได้ชัดคือ การตั้งสมมติฐานว่าเราสามารถซื้อขายได้ในวันเดียวกับที่งบการเงินประกาศออกมา ทั้งที่ในความเป็นจริงการประกาศงบการเงินมักจะประกาศภายหลังจากตลาดปิดนั่นเอง
วิธีการป้องกัน : อย่าตั้งสมมติฐานการส่งคำสั่งซื้อขายที่ไม่สามารถทำได้ในการลงทุนจริง
หมายเหตุ : สำหรับคนที่ใช้ Amibroker ก็คือการตั้งค่า SetTradeDeLays() นั่นเองครับ
ความผิดพลาดที่ 4 : การละเลยผลกระทบของตลาด
เนื่องจากการส่งคำสั่งซื้อขายในตลาดนั้นทำให้เกิดผลกระทบต่อราคาของหุ้น แต่ข้อมูลในอดีตที่ใช้ในการ Backtest นั้นไม่ได้รวมถึงข้อมูลการซื้อขายของคุณ ทำให้ราคาที่เกิดขึ้นในอดีตมันไม่สามารถเป็นตัวแทนของราคาที่คุณจะสามารถซื้อได้จากการเทรดจริงๆ โดยเพื่อให้เข้าใจง่ายให้สังเกตภาพดังกล่าวนี้
ภาพที่ 4 : ตัวอย่างผลกระทบของราคาหุ้นที่เกิดจากการซื้อขายใน Backtest (A และ C) vs. การซื้อขายจริง (B) (ภาพจากสไลด์ประกอบการบรรยายของ Dr. Tucker Balch)
โดยภาพที่ 4 นี้ เป็นตัวอย่างที่อธิบายถึงผลตอบแทนของกลยุทธ์ที่ Dr. Tucker Balch ได้ช่วยในการพัฒนาขึ้นมา โดยเขาพบว่า ในช่วงระยะเวลา A ซึ่งเป็นช่วงระเวลาของการทดสอบวิจัยนั้น เขาพบว่ากลยุทธ์การลงทุนให้ผลตอบแทนที่น่าทึ่งเป็นอย่างมาก (เส้นสีส้ม) โดยมีค่า Sharpe Ratio ถึง 7.0! ซึ่งจากข้อมูลดังกล่าวนี้ ถือเป็นสัญญาณที่ดีที่จะนำกลยุทธ์ดังกล่าวไปใช้ในตลาดจริง
แต่เมื่อเขานำกลยุทธ์มาใช้เทรดจริงในช่วงระยะเวลา B กลับพบว่าผลตอบแทนจากกลยุทธ์ดังกล่าว (เส้นสีเขียว) กลับไม่เหมือนกับตอนทดสอบวิจัยเลยซักนิดเดียว ทำให้ต่อมาเขาจึงเลิกใช้กลยุทธ์ดังกล่าวไป แต่อย่างไรก็ตาม พอเราหยุดลงทุนบนกลยุทธ์ดังกล่าว และทำการตรวจสอบผลลัพธ์หลังจากนั้นด้วยการติดตามราคาหุ้นและทดสอบในกระดาษ (Paper Trade) ในช่วงระยะเวลา C ปรากฎว่าผลลัพธ์กลับมาดีขึ้นอีกครั้ง
ซึ่งในตอนแรกนั้น Dr. Tucker Balch คิดว่าเป็นเพราะความผิดพลาดในการทำนายของโมเดล ดังนั้นเขาจึงทดสอบ (Backtest) อีกครั้งในช่วง B แต่ผลทดสอบกลับออกมาคล้ายๆเหมือนผลจากการเทรดจริง ซึ่งความแตกต่างเพียงระหว่างจุดที่ได้ Sharpe Ratio 7.0 กับจุดที่นิ่งคือ การที่เขาเข้าไปมีส่วนร่วมในตลาดนั่นเอง
โดยสิ่งที่เกิดขึ้นก็คือ พอเราเข้าไปมีส่วนร่วมในตลาดและเม็ดเงินของเรามีขนาดที่ใหญ่เกินกว่าสภาพคล่องที่มีอยู่ ทำให้พฤติกรรมราคานั้นมีการเคลื่อนไหวที่แตกต่างออกไปจากสภาพที่เราทำการวิจัย และเมื่อการทดสอบของเราไม่ได้มีการจำลองผลกระทบการเข้าไปมีส่วนร่วมของเราเข้าไป จะส่งผลให้ผลลัพธ์นั้นดีแค่ในช่วงการทดสอบ
ซึ่งจริงๆแล้วพอเรามีการปรับเงื่อนไขการทดสอบโดยเพิ่มผลกระทบจากการเข้าไปมีส่วนร่วมของเม็ดเงินเราด้วยนั้น กลับพบว่าจริงๆผลตอบแทนของกลยุทธ์นั้นแบนราบไปตลอดทุกช่วงเวลา ซึ่งหากเรารู้อย่างงี้ตั้งแต่แรก เราคงไม่เอากลยุทธ์นี้ไปใช้เทรดจริงหรอก
วิธีการป้องกัน : ให้เพิ่มระดับความเข้มงวดของการทดสอบโดยทำการตั้งค่าสลิปเพจ (Slippage) และมีการจำลองถึงผลกระทบหรือ “Market Impact” จากการที่เราเข้าไปมีส่วนร่วมในตลาดอีกด้วย
ความผิดพลาดที่ 5 : ซื้อหุ้นจำนวน 10 ล้านดาลล่าร์ ในขณะที่บริษัทมีมูลค่าเพียง 1 ล้านดอลล่าร์เท่านั้น
โดยข้อผิดพลาดดังกล่าวนี้เกิดจากข้อกำหนดในการทดสอบที่มีการอนุญาตให้ซื้อหุ้นจำนวน 10 ล้านดอลล่าร์ ในขณะที่ตัวบริษัทเองมีมูลค่าเพียง 1 ล้านดอลล่าร์เท่านั้น ซึ่งการกระทำเช่นนี้จะขัดกับสภาพความเป็นจริงอย่างมาก ซึ่งเป็นสาเหตุทำให้เกิดผลลัพธ์ที่ดีเกินจริงใน Backtest
เนื่องจากบริษัทขนาดเล็กนั้นมักจะให้ผลตอบแทนที่สูง (และมีความเสี่ยงที่สูงเช่นกัน) และส่วนมากจากการขุดค้นข้อมูล (Data Mining) นั้น Algorithm ต่างๆก็มักจะไปค้นพบเจอกับหุ้นเหล่านี้ โดยหากพิจารณาว่าทำไมหุ้นเหล่านี้ถึงมีผลตอบแทนเหนือตลาดหรือ Alpha น่ะหรอ? คำตอบก็คือ เนื่องจากกองทุนที่มีขนาดใหญ่นั้น ไม่สามารถลงทุนในเหล่านี้ได้เพราะขาดสภาพคล่องในการซื้อขายจริง ดังนั้นจึงมีคนจำนวนไม่มากนักที่จะสามารถเก็บเกี่ยวผลประโยชน์จากหุ้นเหล่านี้ได้นั่นเอง
เพราะฉะนั้นกรุณาตรวจสอบให้ชัดเจนก่อนว่า คุณตั้งสมมติฐานการทดสอบ Backtest ให้เหมาะสมกับความเป็นจริงด้วย
วิธีการป้องกัน : กำหนดระดับความเข้มงวดของการทดสอบให้เข้าซื้อได้ไม่เกินสภาพคล่องที่มีอยู่จริงในตลาด รวมถึงเพิ่มระดับสลิปเพจ (Slippage) จากการซื้อขายให้สมจริง
ความผิดพลาดที่ 6 : Data Mining Fallacy
ถึงแม้คุณสามารถที่จะหลีกเลี่ยงหลุ่มพรางที่ผมกล่าวมาทั้งหมดข้างต้นได้นั้น แต่ถ้าคุณยังพยายามทดสอบกลยุทธ์การลงทุนให้มากพอ ยังไงก็ตามคุณก็จะต้องพบซักกลยุทธ์ที่ให้ผลตอบแทนที่สูงในการทดสอบวิจัย Backtest อยู่ดี แต่เมื่อนำมาซื้อขายจริงประสิทธิภาพของกลยุทธ์นั้นอาจไม่ได้แตกต่างกับการสุ่มเลือกซื้อหุ้นเลยก็ได้ (Random Stock Picker)
แล้วคำถามคือ เราจะป้องกันมันได้อย่างไร? คำตอบก็คือ เราไม่สามารถที่จะหลีกเลี่ยงได้ อย่างไรก็ตาม คุณสามารถที่จะทำ Forward Test ก่อนที่จะลงเงินจริงๆได้
วิธีการป้องกัน : ทำ Forward Test หรือ Paper Trade ก่อนจะลงเงินจริงๆ
ความผิดพลาดที่ 7 : การใช้ Benchmark ที่ไม่เหมาะสมในการเปรียบเทียบผลตอบแทน
ในการเปรียบเทียบประสิทธิภาพหรือผลตอบแทนของกลยุทธ์การลงทุนนั้น คุณจะเป็นจะต้องใช้ Benchmark ที่เหมาะสมด้วย ยกตัวอย่างเช่น หากกลยุทธ์ของคุณลงทุนในดัชนี S&P 500 แบบ Long Only ดังนั้นการใช้ดัชนี S&P 500 เป็น Benchmark ในการเปรียบเทียบนี้ถือว่าเหมาะสมแล้ว
แต่หากกลยุทธ์การลงทุนของทุนเป็นลักษณะเป็นกลาง (Neutral) หรือลงทุนทั้งด้าน Long และ Short ซึ่งในกรณีนี้หากเราใช้ ดัชนี S&P 500 มาทำการเปรียบเทียบจะไม่เหมาะสม เพราะอาจจะทำให้เราสรุปผลการวิจัยได้ไม่ถูกต้อง จนเป็นสาเหตุที่ทำให้เราละทิ้งกลยุทธ์การลงทุนที่ดีและมีประสิทธิภาพไปก็ได้
วิธีการป้องกัน : การกำหนด Benchmark ที่เหมาะสมสำหรับการเปรียบเทียบผลตอบแทนของกลยุทธ์
ความผิดพลาดที่ 8 : เชื่อมั่นในกลยุทธ์ที่มาด้วยความฟลุ๊ค
สำหรับบางกลยุทธ์การลงทุนที่มีการถือครองสินทรัพย์อยู่ตลอดช่วงระยะเวลา (Stateful Strategy) หรือกลยุทธ์ที่เป็นประเภท Buy & Hold / Rotation ยกตัวอย่างเช่น กลยุทธ์ที่ทำการเข้าซื้อจนลงทุนเต็มพอร์ต 100% ในวันแรกและถือครองไปจนครบระยะเวลา ซึ่งจริงๆแล้วกลยุทธ์รูปแบบนี้จะทำให้พลาดโอกาสการเข้าซื้อในวัดถัดๆมา ดังนั้นกลยุทธ์เดียวกันนี้หากไม่ได้เริ่มต้นวันเดียวกัน หุ้นที่ถืออยู่ในพอร์ตโฟลิโอทั้งสองก็จะมีความแตกต่างกันซึ่งส่งผลให้ผลตอบแทนที่ได้รับนั้นแตกต่างกันได้
ซึ่งจากที่ Dr. Tucker Balch พบเห็นมาก็คือ ถึงแม้จะใช้กลยุทธ์ Buy & Hold / Rotation แบบเดียวกัน แต่ผลตอบแทนกลับแตกต่างกันได้มากถึง 50% โดยวันที่เริ่มต้นลงทุนต่างกันเพียง 2 อาทิตย์เท่านั้น
วิธีการป้องกัน : หากคุณใช้กลยุทธ์ประเภทดังกล่าว ให้ทดสอบอย่างมั่นใจว่าหากเริ่มต้นวันที่แตกต่างกันนั้น ความแปรปรวนของผลตอบแทนจะเป็นเช่นไร? โดยที่หากความแปรปรวนของผลตอบแทนสูงมากๆคุณควรจะเริ่มสงสัยว่ากลยุทธ์การลงทุนที่คุณใช้มีความเสถียรจริงหรือไม่?
ความผิดพลาดที่ 9 : การตั้งสมมติฐานว่าจะซื้อได้ที่ราคาเปิด
Dr. Tucker Balch นั้นมองว่าราคาเปิด (Opening Price) นั้นถือสิ่งที่คาดเดาได้ยากโดยเฉพาะเรื่องของสภาพคล่องและผลกระทบของราคาต่อการซื้อขาย (Market Impact) ดังนั้น การตั้งสมมติฐานว่าเราจะซื้อได้ที่ราคาเปิดอย่างแน่นอน เท่ากับเราตัดปัจจัยทางด้านอิทธิพลของตลาดออกไป (ซึ่งจะคล้ายๆกับความผิดพลาดที่ 3 นั่นเอง)
ความผิดพลาดที่ 10 : หลงเชื่อในความซับซ้อนของโมเดล
จากประสบการณ์ที่เจอมา โมเดลที่มีความซับซ้อนสูงนั้น มักจะเกิดขึ้นจากการ Overfit เป็นส่วนมาก แต่ในทางกลับกัน โมเดลที่มีวิธีการที่เรียบง่าย (Simple) ซึ่งเกิดจากรากฐานแนวคิดที่สมเหตุสมผลนั้นมักจะนำไปสู่โมเดลที่ดี โดยโมเดลที่ดีนั้นมักจะใช้ปัจจัย (Factor) ในการลงทุนเพียงหยิบมือประกอบกับกฎการลงทุน (Rule) ที่เรียบง่าย ซึ่งมักส่งผลให้กลยุทธ์นั้นมีความเสถียร (Robustness) และลดความเสี่ยงจากการเกิด Overfitting อีกด้วย
The More Complex, The Less You Should Trust it
ยกตัวอย่างเช่น หากกลยุทธ์อันแรกประกอบไปด้วย 3 Factors และให้ผลตอบแทนที่ 150% แต่อีกกลยุทธ์หนึ่งให้ผลตอบแทนมากถึง 250% แต่กลับใช้ถึง 8 Factors ซึ่งในมุมมองของ Dr. Tucker Balch นั้นเขามักเชื่อถือกลยุทธ์ที่ใช้ Factor น้อยกว่าเสมอ เนื่องจากมันมักจะมีความเสถียรที่มากกว่า
วิธีการป้องกัน : กำหนดเพดานของ Factor ที่จะใช้ในโมเดล และใช้ตรรกะที่เรียบง่ายสำหรับการพัฒนาเป็นโมเดลขึ้นมา
บทส่งท้าย
ซึ่งทั้งหมดนี้ก็เป็นหลุมพรางของการทดสอบวิจัยทั้งหมด 10 ประการที่ Dr. Tucker Balch ได้รวบรวมและแบ่งปันเพื่อเป็นข้อสังเกตและจุดเตือนใจเพื่อป้องกันไม่ให้พวกเรานั้นเจ็บปวดจากการที่ได้ผลลัพธ์การวิจัยที่สวยหรูเกินจริง แต่ในความเป็นจริงกลับพังไม่เป็นท่า
โดยเราหวังว่าความรู้ดังกล่าวนี้ จะเป็นประโยชน์ให้กับทุกคนที่สนใจที่จะลงทุนอย่างเป็นระบบครับ จนกว่าจะพบกันใหม่ ขอให้มีความสุขกับการลงทุนครับ
Reference :
- วีดีโอการบรรยายของ Dr. Tucker Balch ภายใต้หัวข้อ “10 Mistakes Quants Make That Cause Backtests to Lie”
- สไลด์ประกอบการบรรยายของ Dr. Tucker Balch ภายใต้หัวข้อ “10 Mistakes Quants Make That Cause Backtests to Lie”
- Lucena Research
