- This topic has 11 ข้อความตอบกลับ, 3 เสียง, and was last updated 4 months, 4 weeks มาแล้ว by
.
-
กระทู้
-
อยากสอบถามครับ ว่าในความเห็นแล้วระบบไหนดีกว่ากันครับ
ระบบที่ 1
Optimize ที่ดีที่สุด CAGR = 34% MDD -20%
walk forward test CAGR = 24% MDD -26%
WTE = 0.4ระบบที่ 2
Optimize ที่ดีที่สุด CAGR = 34% MDD -25%
walk forward test CAGR = 23% MDD -32%
WTE = 0.6ในความเห็น อยากทราบว่า เราควรเลือกระบบไหนดีกว่ากันครับ
เพราะอะไร และถ้าข้อมูลยังไม่พอ ต้องดูอะไรเพิ่มเติม เพื่อประกอบการตัดสินใจครับ
ขอบคุณครับ
-
ข้อความตอบกลับ
-
ระบบที่ 1 ผลTest walk forward ดีกว่า แต่ไม่ correlate ข้อมูล in sample กับระบบที่ 2 ผล test walk forward แย่กว่า แต่ correlate กับข้อมูล in sample แบบนี้ เรามีวิธีการเลือกยังไง หรือมีวิธีคิดอย่างไรบ้างครับ
ผลตอบแทนดีกว่า แต่ WTE < 0.5 ดีกว่า ผลตอบแทนแย่กว่า แต่ WTE > 0.5 หรือไม่ครับ
สวัสดีครับ จริงๆในการที่จะตอบว่าเราควรเลือกระบบไหนดีมันควรตั้งอยู่บน Objective ในการลงทุนของเรามากกว่าครับ หมายความว่าระบบนั้นควรจะตอบโจทย์เรามากกว่า แล้วเราค่อยพิจารณาว่าระบบนั้นๆมีความเสถียรหรือไม่?
เนื่องจากโจทย์ในการลงทุนของเราแต่ละคนนั้นต่างกัน บางคนเน้นผลตอบแทน บางคนเน้นความเสี่ยงต่ำ หรือบางคนอาจจะอยากได้ผลตอบแทนกลางๆในขณะที่ความเสี่ยงไม่ต้องสูงมาก ก็เป็นได้ทั้งสิ้นครับ
ทีนี้ พอ Objective เราเคลียร์เราค่อยมาดูผลลัพธ์การทดสอบครับ ซึ่ง WFA เป็นหนึ่งในการทำ Robustness Test ซึ่งค่า WFE คือ การนำผล OOS / IS เพื่อเทียบสัดส่วนออกมา ซึ่งสมมตินะครับว่าเราตั้งเป้าเป็น CAGR ระบบแรกจะได้ WFE ที่ 0.71 (24/34) ส่วนระบบ 2 จะมี WFE ที่ 0.68 (23/34) …ซึ่งถ้าการ Robustness Test ด้วยวิธีการ WFA และยึดตาม Pardo ว่า WFE ต้องมีค่ามากกว่า 0.5 ก็สามารถเลือกได้ทั้งคู่ครับ
… แต่สิ่งสำคัญที่สุดคือ “ความเข้าใจในระบบ” ครับ เพราะมันจะเป็น Key สำคัญในการใช้งานจริงที่เราจะต้องซื้อขายตามนั้นจริงๆ เนื่องจากมันไม่มีประโยชน์ถ้าเราทดสอบมาดีแต่ถึงเวลาเราไม่ใช้มันหรือใช้แบบครึ่งๆกลางๆ เพราะจะสังเกตว่าพอผมเอา CAGR เป็นตัวตั้งต้นมันก็เลือกได้ทั้งคู่ครับแต่ผมก็ไม่ได้เลือกระบบที่ 1 หรือระบบที่ 2 สักระบบ โดยถึงแม้ว่าระบบที่ 2 DD จะลึกกว่า แต่ถ้าผมเข้าใจระบบที่ 2 มากกว่า เข้าใจว่าทำไมมันถึงเกิด DD ผมก็ยินดีที่จะใช้ระบบ 2 มากกว่าระบบ 1 ครับ
ดังนั้น สิ่งที่อยากฝากให้พิจารณาคือ ผลลัพธ์การทดสอบมันก็คือผลลัพธ์จากเงื่อนไขที่เราทดสอบมาครับ อยู่ที่เราจะมองมันมุมไหนมากกว่าครับ (ซึ่งก็จะต้องขึ้นอยู่กับ Objective การลงทุนของคุณ Atipatr) แต่สิ่งที่สำคัญที่สุดคือความเข้าใจในระบบครับ 😀
ปล. ที่บอกว่า IS กับ OOS ไม่ Correlated กัน ค่า Correlation ที่ได้ออกมามีค่าเท่าไหร่หรือครับ
ขอโทษครับ ในข้อความบนสุด ผมน่าจะพิมผิด
ระบบที่ 1 WFE = 0.4
ระบบที่ 2 WFE = 0.6
ผมไม่ได้นำ CAGR มาหารกันตรงๆ ตอนแรกผมตั้งใจจะเขียน code ให้มันหารให้ตลอดระยะเวลาที่ลงทุน เพื่อดูแนวโน้มทั้งหมดของค่าได้ดังภาพครับ
จริงๆระบบที่ 2 เป็นระบบที่ผมใช้อยู่มา 2-3 ปีแล้ว ช่วงนี้ได้เรียนรู้เพิ่ม เลยเปลี่ยน parameter แค่ตัวเดียว ทำให้ MDD ลดลงได้ในระบบที่ 1
ถ้าสมมมติว่า ทั้ง 2 ระบบ ตรงกับความต้องการของผมทั้งคู่ ผมแค่เปลี่ยน parameter ใหม่แค่ตัวเดียว แต่ที่กังวล คือ ผมใช้ระบบที่ 2 อยู่ WTE มันเกิด 0.5 ตลอด แต่ MDD เยอะ กับระบบที่ 1 MDD น้อยกว่า แต่ WTE < 0.5 เราควรมีข้ออะไรควรพิจารณาเพิ่มเติมไหมครับ
ปล. ดูจากกราฟแล้ว หรือว่าผม code ให้มันคำนวนผิดครับ
ขอบคุณครับ
ระบบที่ 1 ครับ
ตัวกราฟสีส้ม คือ ค่าWTE ที่ผมให้ระบบหารมาให้ สีส้ม คือ > 0.5 พอใช้ไปสักระยะ ได้สีเหลือง คือ < 0.5 ครับ
OSEQUITY = Foreign(“~~~OSEQUITY”,”C”);
ISEQUITY = Foreign(“~~~ISEQUITY”,”C”);
IORATIO = OSEQUITY/ISEQUITY;
ใช้ code นี้ครับ แล้วให้มัน plot เป็นกราฟมาให้เราครับ
ขอบคุณครับ
จากบทความนี้ ค่า WTE เราใช้ค่า CAGR ปลายทาง out of sample / in sample ได้เลยใช่ไหมครับ
พอดีผมไปใช้ equity หารกัน
ถูกต้องครับ เนื่องจากการเติบโตของพอร์ตโฟลิโอเป็นการเติบโตแบบ Geometric ไม่ใช่ Arithmetic ดังนั้น Metrics ในการประเมินผลตอบแทนจึงควรเป็นการคำนวณแบบ Geometric เช่น ผลตอบแทนทบต้นโดยเฉลี่ยต่อปี (Annualized Return) หรือ CAGR เป็นต้นครับ
การทำ Walk-Forward Analysis คือการทดสอบเพื่อตัด Parameter Selection Bias ของเราออกไป แล้วดูว่าถ้าให้คอมพิวเตอร์เลือกเองจาก Parameter Range ที่เราวางกรอบไว้ตาม Logic ของระบบนั้นจะเป็นอย่างไรบ้าง ดังนั้นแล้วคำตอบที่ออกมาจึงสะท้อนได้ว่า
1. ระบบของเรามีความเถียรหรือ Sensitive จากการเลือก Parameter มากแค่ไหน
2. ระบบของเรามีความสามารถในการปรับตัว โดยเลือก Parameter ที่เหมาะสมกรอบ Parameter Range ที่เรากำหนดไว้เองได้ดีแค่ไหน
3. Parameter ที่ถูกเลือกตาม Objective Function เช่น CAGR, Max.DD, Sharpe นั้นแท้จริงแล้วมี Predictive Value หรือประสิทธิภาพในการบ่งชี้ถึงผลในอนาคตจริงหรือไม่ดังนั้นแล้วตัวแปรสำคัญที่ซ่อนอยุ่ในการทำ WFA จึงมีเรื่องกรอบของ Parameter ที่เรากำหนด และ Objective Function Predictive Value เข้ามาข้องเกี่ยวด้วยนั่นเอง ซึ่งในหลายๆครั้งแล้วตัวเลือก Parameter ที่ดีที่สุดในอดีตก็ไม่เคยเป็นตัวเลือกที่ดีที่สุดในอีกคาบเวลาต่อไปเลยไม่ว่าเราจะใช้ Objective Function ใดๆมาช่วยเลือกก็ตาม นี่จึงเป็นเหตุผลที่ว่าทำไมเราจึงต้องพยายาม Design ให้ระบบนั้นให้ผลที่ดีแม้ว่าจะใช้ค่า Parameter ใดๆก็ตามในกรอบที่เราเลือกเอาไว้เป็นอันดับแรกนั่นเองครับ (Parameter Insensitivity Design)
ซึ่งสิ่งที่สะท้อนออกมาจากค่า Walk Forward Efficiency หรือ WFE ที่ 0.4 และ 0.6 นั้น จึงทำให้เราสามารถอนุมานได้ว่าถ้าให้ระบบเลือกค่าเองแต่ละช่วง ค่าที่ได้นั้นจะให้ผลตอบแทนทบต้นเพียงครึ่งหนึ่งจากค่าที่ดีที่สุดที่ได้จากผลของ In-Sample Equity เท่านั้น (Parameter Sensitivity ยังค่อนข้างกว้างและสูง) ซึ่งอาจสะท้อนให้เห็นได้ว่า Parameter Stability ของระบบที่ได้จากการออกแบบมายังไม่ดีเท่าไหร่นัก ซึ่งหากถามว่าให้เลือกแบบไหนนั้น ผมจะดูก่อนว่าค่า WFE เป็นที่น่าพอใจในระดับที่ต้องการหรือไม่ (สำหรับผมและทีมงานจะอยู่ที่ราวๆ 80% ขึ้นไป) เนื่องจากเป็นค่าที่ช่วยบ่งชี้ได้ว่าในอนาคตผลจะมีโอกาสคล้ายผลทดสอบที่เราทำมากแค่ไหน หลังจากนั้น ผมจะค่อยมาดูว่าระบบไหนให้ Performance Profile ที่ตรงกับเป้าหมายในการลงทุนของเรามากที่สุดครับ
ปล. การเปรียบเทียบค่า IS/OS นั้น หากเป็นผลตอบแทนผมเห็นว่าควรใช้ค่า CAGR มากกว่า Simple Profit / Arithmetic Average Return นะครับ เพราะจะสะท้อนได้ดีกว่า เนื่องจากมันจะช่วยตัดผลกระทบที่เกิดจากการทบต้นของเงินได้ดีกว่าครับ
ผมขอสอบถามเพิ่มเติมเล็กน้อย เพื่อการ Test ที่ถูกต้องครับ
ปกติ ถ้าผมทำ Walk forward Test
In sample 1995-2000 Out of sample 2000-2001
ไปเรื่อยๆ Step ทีละ 1 ปี จนถึง
In sample 2015-2020 Out of sample 2020-2021
คือจะได้ชุด OOS 2000-2021 เป็นระยะเวลาประมาณ 20 ปีย้อนหลัง
เสร็จแล้ว แล้วกดดูปุ่ม Report เราจะได้ค่า CAGR ของ out of sample ใช่ไหมครับ
(ขอแทน CAGR1)
คำถาม คือ ถ้าผมเอา Code ชุดนี้ มาOptimize เพื่อให้ได้ CAGR ที่ดีที่สุด ในระยะเวลา 2000-2021
(ขอแทนด้วย CAGR2)
ผมสามารถใช้ WTE = CAGR OOS/CAGR IS = CAGR1/CAGR2 ได้เลยไหมครับ
ถ้าไม่ได้ เราจะหา CAGR ของ in sample เวลาเราทำการ walk forward Test อย่างไรครับ ขอบคุณครับ
ขออนุญาตรบกวนถามเยอะเล็กน้อยครับ ขอบคุณทุกท่านมากๆครับ
- คุณต้องเข้าสู่ระบบเพื่อตอบกลับกระทู้นี้