מצאת אסטרטגיה עם 98 אחוז הצלחה ועקומת רווח חלקה כמו סרגל? זו כמעט תמיד לא התגלית שלך, אלא באג. שלמות היא סימפטום, לא הישג.
כל מי שבנה או קנה אסטרטגיה מסחר מכיר את הרגע הזה. אתה מריץ בק-טסט, והתוצאה מרהיבה: עקומת הון שעולה כמעט בקו ישר, אחוז הצלחה חלומי, כמעט בלי ירידות. הלב מתחיל לפעום. מצאת את זה.
וכאן צריך לעצור. במחקר רציני, עקומה חלקה מדי היא לא סיבה לחגוג. היא הדגל הצהוב הראשון. ברוב המוחלט של המקרים, ביצוע מושלם על העבר לא אומר שהאסטרטגיה גאונית. הוא אומר שיש דליפת מידע בקוד.
השוק תנודתי, אקראי בחלקו, ומלא רעש. כל יתרון אמיתי, גם מצוין, נראה משונן: יש רצפים של הפסדים, ירידות הון, ותקופות דשדוש. אסטרטגיה שמנצחת כמעט תמיד, בלי כאב, פשוט לא מתנהגת כמו משהו שקורה בעולם האמיתי. כשמשהו נראה טוב מכדי להיות אמיתי בשוק, זה בדרך כלל כי הוא באמת לא אמיתי.
הסיבה הנפוצה ביותר לעקומה מזויפת נקראת look-ahead bias, או הצצה לעתיד. הבק-טסט משתמש בשקט במידע שלא היה ידוע ברגע הכניסה לעסקה. הקוד "יודע" מה יקרה, ולכן מקבל החלטות מושלמות שאי אפשר לחזור עליהן בזמן אמת.
יש לזה שני טעמים עיקריים:
אנשים חושבים שאם אחוז ההצלחה סביר, אין דליפה. זו טעות. אסטרטגיה עם דליפה ליעד רחוק יכולה להראות סטטיסטיקה רגילה לגמרי, נניח 34 אחוז הצלחה, ועדיין להיות 95 אחוז לא-סיבתית (acausal). המספרים היפים לא מסגירים את הבאג. צריך לבדוק את המנגנון, לא רק את התוצאה.
מבחן מכני פשוט
אל תסתמך על תחושה. שאל שאלה מדידה אחת: איזה אחוז מהכניסות שלך מתרחשות לפני שנר הסיגנל באמת נסגר? בקוד נקי התשובה היא אפס. כל מספר שגדול מאפס הוא דליפה שצריך לתקן.
וכאן החלק הכואב. ברוב המקרים, ברגע שהופכים את האסטרטגיה לסיבתית, כלומר מרשים לה לראות רק מידע שהיה זמין בזמן אמת, ה"יתרון" לא רק נחלש. הוא מתאדה, ולעיתים הופך למפסיד נטו. במילים אחרות: ה-look-ahead עצמו היה כל היתרון. לא היה שם כלום מלכתחילה, רק הצצה לעתיד שהתחפשה לגאונות.
העיקרון
יתרון אמיתי נראה כמו עבודה קשה: משונן, לא נעים לפעמים, עם ירידות. שלמות בבק-טסט היא כמעט תמיד באג שמתחזה ליתרון. החשד הבריא הזה שווה יותר מכל אינדיקטור.
אז כל בק-טסט טוב הוא חשוד?
לא. בק-טסט טוב הוא לגיטימי, אבל הוא נראה מציאותי: עם ירידות, רצפי הפסד ותקופות דשדוש. מה שחשוד הוא שלמות, עקומה חלקה מדי או אחוז הצלחה שלא קיים בעולם האמיתי.
אני לא מתכנת, איך אני אזהה דליפה?
לא צריך לכתוב קוד כדי לשאול את השאלות הנכונות. בקש לראות איך נמדדה הכניסה, בקש עקומה עם ירידות, וברח מכל מי שמראה לך רק תוצאה מושלמת בלי להסביר איך היא נבדקה.
ולמה מוכרים לי בכל זאת רובוטים "מנצחים"?
כי עקומה מושלמת מוכרת. אבל אם למישהו באמת הייתה מכונה כזו, הוא לא היה מוכר אותה לך. ברוב המקרים העקומה המושלמת היא בדיוק הבאג הזה.
גילוי נאות: מסחר בשווקים הפיננסיים כרוך בסיכון להפסד הון ואינו מתאים לכל אחד. אין באמור ייעוץ השקעות, שיווק השקעות או המלצה לפעולה, ואין בו הבטחה או הצגה של תשואות. המידע מובא לצרכים חינוכיים בלבד.