חמש שנות בק-טסט לא יכולות להבדיל בין יתרון אמיתי לבין הימור על משטר שוק

יש רגע שכל חוקר של שיטות מסחר מכיר. אתה מריץ בק-טסט על חמש שנים אחורה, והעקומה עולה יפה. אתה בודק שהיא עובדת כל שנה בנפרד, לא רק בממוצע. אתה בודק שהיא עובדת על כמה נכסים. אתה מוסיף עלויות מסחר ריאליות, והיא עדיין רווחית. בשלב הזה קל להרגיש שמצאת משהו אמיתי. הרי עברת את כל המבחנים שכולם מדברים עליהם.

הבעיה היא שכל המבחנים האלה נעשו בתוך אותה תקופה, ותקופה של חמש-שש שנים היא לרוב סיפור אחד: מגמה אחת, סביבת ריבית אחת, אופי תנודתיות אחד. מה שאתה קורא לו "יתרון" יכול להיות פשוט תיאור מדויק של איך השוק התנהג במשטר הזה. וכשהמשטר משתנה, אותה שיטה בדיוק יכולה להתחיל לעבוד עם הסימן ההפוך.

המאמר הזה על ההבדל הזה: בין יתרון מבני שממשיך להחזיק כשהעולם משתנה, לבין הימור על משטר שנראה כמו יתרון רק כי לא ראינו אותו במשטר אחר.

מה בעצם מודד "עבד כל שנה"

כשמישהו אומר "השיטה הרוויחה כל אחת מחמש השנים האחרונות", זה נשמע כמו מבחן קשה. ובאמת, זה שולל צורה מסוימת של מזל: זה מראה שהרווח לא הגיע משנה אחת חריגה שהסתירה ארבע שנים גרועות. זו עקביות אמיתית, ושווה לבדוק אותה.

אבל שים לב מה בדיוק נמדד כאן. חמש שנים רצופות הן לרוב פרק זמן קצר יחסית מבחינת השוק. אם כל חמש השנים האלה היו בתוך אותו הקשר רחב, אז "עבד כל שנה" מודד עקביות בתוך משטר אחד. הוא לא מודד, ולא יכול למדוד, עמידות בין משטרים שונים, כי אין בדאטה שלך יותר ממשטר אחד להיבחן מולו.

זו נקודה עדינה שקל לפספס. עקביות ועמידות נשמעות כמו מילים נרדפות, אבל הן שני דברים שונים לגמרי. עקביות שואלת: כמה יציב הביצוע בתוך הסביבה שראיתי. עמידות שואלת: מה יקרה כשהסביבה תשתנה. בק-טסט של חמש שנים יכול לענות מצוין על השאלה הראשונה, ולא לגעת בכלל בשנייה.

איך ממצא שעבר את כל המבחנים עדיין נכשל

הנה התרחיש שצריך להפחיד כל מי שמתכנן להריץ שיטה על כסף אמיתי. קח דפוס מסוים, למשל רעיון של חזרה לממוצע: הנחה שאחרי תנועה חדה מדי לכיוון אחד, השוק נוטה לחזור לכיוון ההפוך. תבדוק אותו על חמש-שש שנים אחרונות והוא נראה מצוין. הוא עובר robustness שנתי. הוא עובר cross-asset, כלומר עובד גם על כמה שווקים שונים. הוא שורד גם אחרי שאתה מכניס עלויות מסחר ריאליות. כל אלה, בתוך אותו חלון זמן.

עכשיו קח בדיוק את אותו כלל, בלי שינוי אף פרמטר, והרץ אותו על עשור קודם, תקופה שהמנוע מעולם לא נגע בה. פתאום הכל מתהפך. באותו עשור, השוק לא נטה להתכנס אחרי תנועות חדות, אלא להמשיך בהן. אותה תנועה חדה שבמשטר האחרון הייתה אות לחזור לכיוון ההפוך, במשטר הקודם הייתה אות להמשך. השיטה שהרוויחה בעקביות בחלון אחד מפסידה בעקביות בחלון השני, כי היא בעצם רוכבת על תכונה של משטר, לא על חוק של שוק.

שים לב שאף אחד מהמבחנים שעשית לא היה יכול לתפוס את זה. robustness שנתי, cross-asset ועלויות הם כולם מבחנים בתוך הדאטה שבחרת. הם מגנים מפני צורות מסוימות של התאמת יתר, אבל הם עיוורים לחלוטין לשאלה אם החלון שבחרת מייצג יותר ממשטר אחד. אין להם דרך לדעת מה הם לא ראו.

למה חלון של משטר אחד כל כך מטעה

הבעיה מתחדדת כשמבינים שאין באמת דרך לספור "כמה משטרים" ראית רק לפי מספר השנים. חמש שנים יכולות להכיל שני משטרים שונים, ועשר שנים יכולות להכיל משטר אחד ארוך. מה שקובע הוא לא אורך החלון בשנים, אלא כמה סוגים שונים של סביבות שוק נכללו בו: מגמות עולות מול יורדות, תנודתיות גבוהה מול נמוכה, סביבות ריבית שונות, תקופות של פחד מול תקופות של רגיעה.

כשכל הדאטה שלך מגיע ממשטר אחד, המנוע לומד את התכונות של המשטר הזה בצורה מושלמת, ומגיש לך אותן בתור "יתרון". זו לא רמאות של המנוע, זו פשוט המגבלה של מה שהראית לו. הוא לא יכול לומר לך על משהו שלא ראה. וברוב המקרים, אתה גם לא יודע כמה משטרים באמת נכללו בחלון שלך, כי משטרים מזוהים בבירור רק בדיעבד.

איך להתייחס ליתרון שמבוסס רק על התקופה האחרונה

אם הבנת את הנקודה עד כאן, המסקנה המעשית פשוטה: יתרון שנבנה כולו על תקופה אחרונה צריך להיחשב, כברירת מחדל, כתלוי-משטר. לא כתגלית מבנית שתחזיק לנצח, אלא כהתאמה טובה לסביבה מסוימת שאולי כבר מתחילה להשתנות. זו לא פסימיות, זו התאמה בין רמת הביטחון לרמת הראיה.

מהשינוי הזה בהלך הרוח נובעות כמה החלטות מעשיות. הן לא נוסחה, אלא כיוון:

• אל תתמחר יתרון תלוי-משטר כאילו הוא מבני. אם ההנחות שלך על תוחלת הרווח מניחות שהעבר יימשך בדיוק, אתה בונה על יסוד שאתה בעצמך לא בדקת מול משטר אחר.
• צרף ניטור משטר. הגדר מראש אילו סימנים ירמזו שהסביבה שבה נבנה היתרון מתחלפת, ועקוב אחריהם בזמן אמת, לא בדיעבד.
• הכן קילל-סוויץ'. תחליט מראש מה יגרום לך לעצור את השיטה, לפני שאתה בתוך תקופת הפסד ומחפש תירוצים להמשיך.
• העדף ראיות ממשטרים שונים על פני עוד ראיות מאותו משטר. חלון עשור שכולל שתי סביבות שונות שווה יותר מחמש שנים חלקות מאותה סביבה, גם אם המספרים של החמש שנים יפים יותר.

שים לב שאף אחד מהכלים האלה לא מבטיח שלא תפסיד. המטרה שלהם צנועה יותר: להקטין את הפער בין כמה שאתה בטוח לכמה שאתה באמת יודע, ולוודא שכשהמשטר יתחלף, לא תהיה האחרון שמבין את זה.

הענווה של מי שאין לו דאטה ממשטר חלש

יש כאן שכבה אחרונה של כנות שקשה להתעלם ממנה. להרבה שיטות פשוט אין דאטה ממשטר שבו הן היו אמורות להיכשל. או שהנכס צעיר מדי, או שהתקופה שבה יש נתונים איכותיים קצרה מדי, או שהסביבה שהיית רוצה לבחון מולה פשוט לא קרתה בטווח שאתה יכול למדוד. במקרים האלה אתה לא במצב של "לא בדקתי", אתה במצב של "אי אפשר לבדוק".

התגובה הבוגרת למצב הזה היא לא להעמיד פנים שהיעדר עדות לכישלון הוא עדות לחוסן. אם אין לך דאטה ממשטר חלש, ההנחה הזהירה היא שהמשטר החלש עוד יגיע, ושהשיטה עלולה להיפגע בו קשה. מתכננים לתרחיש הגרוע, לא לתרחיש הטוב: גודל פוזיציה שמניח שהמשטר יתהפך, ולא כזה שמניח שהעבר היפה יימשך.

לסיכום

אין שום בעיה עם בק-טסט של חמש שנים. יש בעיה עם הסיפור שאנחנו מספרים לעצמנו לגביו. עקומה עולה שעברה robustness שנתי, cross-asset ועלויות היא ראיה אמיתית לעקביות בתוך משטר אחד, ולא יותר מזה. השאלה הנכונה אף פעם אינה רק "כמה טוב זה עבד", אלא "על כמה סוגים שונים של שוק בדקתי את זה, ומה קורה כשהסביבה מתהפכת". מי ששואל את השאלה הזאת מוקדם, לפני שהוא מסכן הון, פשוט נותן לעצמו סיכוי טוב יותר לשרוד את המשטר הבא.

מאמרים קשורים

מסחר אלגוריתמי

ריבוי בדיקות ומזל

מסחר אלגוריתמי

יתרון או החזקת לילה

מסחר אלגוריתמי

היתרון ב'מתי' לא ב'מה'

גילוי נאות: מסחר בשווקים הפיננסיים כרוך בסיכון להפסד הון. אין באמור ייעוץ השקעות או המלצה לפעולה. המידע מובא לצרכים חינוכיים בלבד.