การทำ Walk-Forward Analysis คือการทดสอบเพื่อตัด Parameter Selection Bias ของเราออกไป แล้วดูว่าถ้าให้คอมพิวเตอร์เลือกเองจาก Parameter Range ที่เราวางกรอบไว้ตาม Logic ของระบบนั้นจะเป็นอย่างไรบ้าง ดังนั้นแล้วคำตอบที่ออกมาจึงสะท้อนได้ว่า

1. ระบบของเรามีความเถียรหรือ Sensitive จากการเลือก Parameter มากแค่ไหน
2. ระบบของเรามีความสามารถในการปรับตัว โดยเลือก Parameter ที่เหมาะสมกรอบ Parameter Range ที่เรากำหนดไว้เองได้ดีแค่ไหน
3. Parameter ที่ถูกเลือกตาม Objective Function เช่น CAGR, Max.DD, Sharpe นั้นแท้จริงแล้วมี Predictive Value หรือประสิทธิภาพในการบ่งชี้ถึงผลในอนาคตจริงหรือไม่

ดังนั้นแล้วตัวแปรสำคัญที่ซ่อนอยุ่ในการทำ WFA จึงมีเรื่องกรอบของ Parameter ที่เรากำหนด และ Objective Function Predictive Value เข้ามาข้องเกี่ยวด้วยนั่นเอง ซึ่งในหลายๆครั้งแล้วตัวเลือก Parameter ที่ดีที่สุดในอดีตก็ไม่เคยเป็นตัวเลือกที่ดีที่สุดในอีกคาบเวลาต่อไปเลยไม่ว่าเราจะใช้ Objective Function ใดๆมาช่วยเลือกก็ตาม นี่จึงเป็นเหตุผลที่ว่าทำไมเราจึงต้องพยายาม Design ให้ระบบนั้นให้ผลที่ดีแม้ว่าจะใช้ค่า Parameter ใดๆก็ตามในกรอบที่เราเลือกเอาไว้เป็นอันดับแรกนั่นเองครับ (Parameter Insensitivity Design)

ซึ่งสิ่งที่สะท้อนออกมาจากค่า Walk Forward Efficiency หรือ WFE ที่ 0.4 และ 0.6 นั้น จึงทำให้เราสามารถอนุมานได้ว่าถ้าให้ระบบเลือกค่าเองแต่ละช่วง ค่าที่ได้นั้นจะให้ผลตอบแทนทบต้นเพียงครึ่งหนึ่งจากค่าที่ดีที่สุดที่ได้จากผลของ In-Sample Equity เท่านั้น (Parameter Sensitivity ยังค่อนข้างกว้างและสูง) ซึ่งอาจสะท้อนให้เห็นได้ว่า Parameter Stability ของระบบที่ได้จากการออกแบบมายังไม่ดีเท่าไหร่นัก ซึ่งหากถามว่าให้เลือกแบบไหนนั้น ผมจะดูก่อนว่าค่า WFE เป็นที่น่าพอใจในระดับที่ต้องการหรือไม่ (สำหรับผมและทีมงานจะอยู่ที่ราวๆ 80% ขึ้นไป) เนื่องจากเป็นค่าที่ช่วยบ่งชี้ได้ว่าในอนาคตผลจะมีโอกาสคล้ายผลทดสอบที่เราทำมากแค่ไหน หลังจากนั้น ผมจะค่อยมาดูว่าระบบไหนให้ Performance Profile ที่ตรงกับเป้าหมายในการลงทุนของเรามากที่สุดครับ

ปล. การเปรียบเทียบค่า IS/OS นั้น หากเป็นผลตอบแทนผมเห็นว่าควรใช้ค่า CAGR มากกว่า Simple Profit / Arithmetic Average Return นะครับ เพราะจะสะท้อนได้ดีกว่า เนื่องจากมันจะช่วยตัดผลกระทบที่เกิดจากการทบต้นของเงินได้ดีกว่าครับ