אם יש משהו שאנחנו ממש לא רוצים שיקרה, זה לעשות הכל נכון, לרוץ על המיזם ובסוף לא להגיע לאימפקט המיוחל. אז איך נדע שהפעילות שלנו באמת עושה את האפקט הנדרש? ואיך נציג את זה החוצה למשקיעים, תורמים ופקידי ממשל? נסביר זאת כאן באמצעות הכלי – Standard of evidence, שעובר על רמות "הוכחה" שונות בין פעילות המיזם ובין השינוי הרצוי. לאחר הקריאה אתם מוזמנים להוריד ולשמור את הקובץ המצורף (ראו קבצים להורדה בראש הדף) ולעשות בו את השימוש שמתאים לשלב שבו אתם נמצאים עם המיזם שלכם.

נתחיל?

בואו נניח שאנחנו רוצים לבדוק יעילות של מיזם שמבקש להפחית מצבים של פוסט טראומה בקרב חיילים בישראל. בואו נבחן את הרמות השונות להוכחה:
רמה 1 – ברמה הראשונה נרצה לתאר באופן לוגי מדוע למיזם שלנו יש יכולת להפחית תסמיני פוסט טראומה בקרב חיילים בישראל, ונבסס את זה באמצעות תיאוריית שינוי, סקירות ספרות על מיזמים דומים לשלנו שהראו תוצאות ומידע פנימי של ראיות אנקדוטליות שאספנו.
רמה 2 – אנחנו נמצאים כבר במקום שהצלחנו למדוד שינוי חיובי כך שאספנו מידע שמראה שחיילים המשתמשים בפרוגרמה שלנו באמת מראים שיפור במצבם הנפשי והפחתה בתסמיני הפוסט טראומה, אבל אנחנו רוצים להוכיח שזה לא מקרי. כאן נוכל לאסוף מידע באמצעות סקרים תקופתיים, דיווחים עצמיים של לפני ואחרי, קבוצות מיקוד וראיונות.
רמה 3 – כאן כבר ממש נרצה להוכיח שאנחנו הסיבה העיקרית להפחתת פוסט טראומה אצל חיילים ולא נסתפק רק בהערכות. לשם כך דרושים ניסויים שיכללו קבוצות של חיילים שלקחו חלק במיזם שלנו וכאלה שלא –  ניסויים של לפני ואחרי שיבחנו באופן אקטיבי את המצב הנפשי של המשתמשים שלנו לפני צריכת השירות שלנו ואחריו + קבוצת ביקורת רנדומלית.
רמה 4 – אחרי שמצאנו קשר סיבתי בין היכולת שלנו להפחית תסמיני פוסט טראומה בקרב חיילים באמצעות הטיפולים המותאמים שלנו, נרצה לתקף את התוצאות שלנו דרך הערכה חיצונית שמאשרת את אפקטיביות ורווחיות המיזם. נעשה כאן שימוש בתקנים בינלאומיים, הערכה של חברה חיצונית או ניתוחים כלכליים. בשלב זה אנחנו כבר נמצאים במקום שבו יש לנו הדרכות, מערכות ונהלים שתומכים בשכפול עקבי של המיזם ושל התוצאות החיוביות שלו.
רמה 5 –  עכשיו אנחנו מעוניינים להראות שהמיזם יכול לפעול במקום אחר, על ידי אנשים אחרים ולעבור "סקיילינג", תוך שהוא ממשיך להיות בר השפעה על המצב בשטח ושהוא עדיין מעשי מבחינה כלכלית. כאן נצטרך לעשות מגוון ניתוחים כלכליים, כגון הערכת נאמנות (evaluation fidelity) ורצוי גם לבצע ניתוח תרחישים עתידיים.

שימו לב! עברו על השלבים בהדרגה, ודאו שאתם משתמשים בשלבים שרלוונטיים עבור היוזמה שלכם (בדר"כ שני השלבים הראשונים מתאימים למיזמים בתחילת דרכם ויתר השלבים למיזמים בשלים וגדולים יותר). אין טעם למהר לקפוץ משלב לשלב. מדובר בתהליכים שלוקחים זמן רב ורמות ההוכחה משתנות לפי בשלות המיזם.

מה תמיד נכון? תשתיות נתונים איכותיות בארגון יאפשרו לבצע הערכה ומדידה ביתר קלות וכמובן גם לקבל החלטות מבוססות נתונים, לכן הכניסו לשגרות העבודה שלכם דרכים לאיסוף נתונים ותדאגו תמיד לתעד את הנעשה. הכניסו לתרבות הארגונית שלכם חשיבה על איסוף מידע.

הוכחות זה נחמד, אבל… במציאות של ימינו האריזה של הוכחת ההצלחה היא לא פחות חשובה מההוכחה עצמה. הקשב של פקידי ממשלה, פילנתרופים, משקיעים הוא מוגבל, וכשאנחנו זוכים לו – חשוב שננצל אותו בצורה המיטבית. לכן, עצם קיומן של עדויות להצלחה אינו מספיק – עליהן להיות אפקטיביות בתפיסת הקשב והמוטיבציה של בעלי העניין הרלוונטיים השונים.