4 המבחנים שכל יתרון חייב לעבור לפני שאנחנו סומכים עליו
כל תבנית שנראית טוב בבק-טסט מרגישה כמו תגלית. רוב הפעמים היא לא. ככה אנחנו מבדילים בין השניים.
כל מי שבנה אי פעם בק-טסט מכיר את הרגע: מוצאים תבנית, המספרים נראים טובים, ויש דחף עז להתחיל לסחור איתה מחר בבוקר. הרגע הזה הוא בדיוק המקום שבו רוב הסוחרים — וגם רוב הכלים האוטומטיים — נכשלים. לא כי הם עצלנים, אלא כי ההתלהבות מגיעה לפני הבדיקה, לא אחריה.
אצלנו שום ממצא לא נחשב "אמיתי" עד שהוא עובר ארבעה מבחנים ספציפיים, בסדר הזה. לא נגלה כאן מה מצאנו — רק איך אנחנו בודקים אם מה שמצאנו שווה משהו.
מבחן 1 · קו הביקורת המזויף
לפני כל דבר אחר: האם הממצא מנצח גרסה מזויפת של עצמו? לוקחים את אותה תבנית בדיוק, ומזיזים אותה למקום שבו היא כבר לא אמורה להיות משמעותית — רמת מחיר מוזזת, טווח זמן מוזז, כיוון הפוך. אם הגרסה ה"אמיתית" לא מנצחת את הגרסה המזויפת בעקביות, אין שם תיאום אמיתי — יש רק דפוס שנראה טוב במבט לאחור.
מבחן 2 · עקביות בין תקופות
ממצא אמיתי לא אמור להתקיים רק בגלל שבוע אחד מוזר או שנה אחת חריגה. מפרקים את התקופה לבלוקים נפרדים — למשל שלושה חלקי יום, או כמה שנים נפרדות — ובודקים אם האפקט מופיע בעקביות ברוב הבלוקים, לא רק באחד שגורר את הממוצע.
מבחן 3 · קריאה אחת, שמורה מראש
זה אולי הכלל הכי לא אינטואיטיבי: לפני שמסתכלים על דאטה חדש שלא נראה, מצהירים מראש בדיוק מה נחשב הצלחה. אחר כך מסתכלים פעם אחת בלבד. ברגע שהסתכלת על הדאטה הזה, הוא "נשרף" — אי אפשר להשתמש בו שוב לבדוק אותו ממצא, גם אם התוצאה לא מצאה חן בעיניך. המשמעת הזו היא מה שמבדיל בדיקה אמיתית מחיפוש אחרי התשובה שרוצים לשמוע.
מבחן 4 · תמחור המזל
אם בדקת 50 רעיונות ואחד מהם נראה מצוין — זה לא אומר שמצאת יתרון. זה אומר שהיה לך 50 הזדמנויות למשהו להיראות טוב במקרה, וזה קרה. ככל שבודקים יותר דברים, צריך לדרוש רף גבוה יותר לפני שמאמינים לתוצאה הכי טובה שנמצאה — אחרת המחקר עצמו הופך למכונה ליצירת אשליות.
למה זה לוקח כל כך הרבה זמן
ארבעת המבחנים האלה הם הסיבה שבנייה של יתרון אמיתי לוקחת חודשים, לא ימים. רוב הדברים שנראים מבטיחים בהתחלה נופלים כבר במבחן הראשון או השני. זה לא כישלון — זו בדיוק המערכת עושה את מה שהיא אמורה לעשות: לסנן רעש לפני שהוא הופך להפסד אמיתי בכסף אמיתי.
למה לא מספיק שהממצא 'נראה טוב' בבק-טסט?
כי כל דבר שנבדק מספיק פעמים ייראה טוב במקרה מסוים. השאלה האמיתית היא לא 'האם זה נראה טוב', אלא 'האם זה עדיין נראה טוב אחרי ארבעת המבחנים'.
מה קורה אם ממצא נכשל באחד המבחנים?
הוא נגנז או חוזר לשלב מוקדם יותר. אנחנו לא ממשיכים לבדוק אותו שוב ושוב עד שהוא 'עובר' במקרה — זה בדיוק סוג העיוות שהמבחנים האלה נועדו למנוע.
אפשר לדעת אילו ממצאים עברו את כל 4 המבחנים אצלכם?
את המתודולוגיה אנחנו משתפים בשמחה — היא בדיוק מה שמאמר זה מתאר. את הממצאים הספציפיים והמנגנונים המדויקים אנחנו שומרים לתלמידים בליווי האישי.
מאמרים קשורים
גילוי נאות: מסחר בשווקים הפיננסיים כרוך בסיכון להפסד הון. אין באמור ייעוץ השקעות או המלצה לפעולה. המידע מובא לצרכים חינוכיים בלבד.