הערכת תוצאות הדרכה: עבר, הווה ועתיד מנקודת מבט אישית - יעקב ויטנברג

הדרכה ללא מערכת הערכה היא כמו טיל ללא מערכת בקרה.

בימים אלה, תקציבי ההדרכה מצטמצמים ובעלי העניין בהדרכת מעוניינים להיות בטוחים שההדרכה כדאית מבחינה כלכלית ושתוצריה יתרמו תורמת לשיפור ביצועים אישיים וארגוניים. הדרכה בוודאי תורמת ואינה מזיקה במרבית המקרים, אך קבלת ההחלטה האם להשקיע משאבים רבים בהערכה על חשבון יותר פעולות הדרכה, מציפה שאלות שיענו במסגרת המאמר. מתי מוטב להסתפק בשאלוני שביעות רצון להערכת תגובות? ומתי אנו חייבים בהערכה ברמות גבוהות של ביצועי עובדים והארגון? ״שם המשחק״ הוא לכן התאמת סוג ,עומק הערכה והכלים למטרות ויעדי התוכנית הספציפית.

העבר: הערכה רצויה, אבל...

בשנות ה-70 השיח בקרב אנשי הדרכה עסק במקומה של יחידת ההדרכה בארגון. אני זוכר את רמת התסכול על המיצוב הנמוך יחסית של היחידה בהיררכיה הארגונית. לכן כשהנחתי סדנה ראשונה על הערכת תוצאות הדרכה במרכז הישראלי לניהול ב-1977, מרבית הזמן דנו המשתתפים במקום בהערכת ההדרכה, בשאלה כיצד ממצבים את ההדרכה ואת עצמם במקום הראוי להם בארגון. הערכה נראתה בשעתו ״כלוקסוס״ לעסוק בה ובוודאי לא בעדיפות ארגונית גבוהה. הייתה קיימת הסכמה בשתיקה שאין עוררים על כך שהדרכה תורמת ונדרשת ולכן אין טעם להשקיע בהערכה להוכיח זאת. סברתי שללא הערכה של איכות ההדרכה תוצאותיה והישגיה יפגעו. 

לצורך הדיון, אאמץ את ההגדרה הרווחת להערכה: ״איסוף שיטתי של מידע תיאורי, כמותי ושיפוטי לקבלת החלטות נכונות לשפור ההדרכה״. להערכת הדרכה שלו מטרות עיקריות. האחת, לשפר תכניות קיימות. השנייה, להחליט על הערך המוסף של תכנית האם להשאירה או להפסיקה. השלישית, האם יש הצדקה למחלקת הדרכה.

ב-1978 כתבתי מדריך מפורט בנושא הערכת הדרכה – קווים מנחים לחשיבותה, מושאי הערכה, מרכיביה, סוגי הערכה, מגבלותיה, רמות בהערכה. המטרה הייתה לקדמה כחלק מעיצוב והשבחת קורס או פעולת הדרכה אחרת בשרות המדינה. ראה יעקב ויטנברג, ״הערכת תוצאות הדרכה –קווים לדיון ופיתוח״, נציבות שירות המדינה, השירות להדרכה ולהשכלה, מרץ 1978 [1].

כיועץ לפתוח מנהלים לאלכא בג'וינט ישראל בשנים 1984-2010 [מהקמתה], סייעתי כבר בשנת 1988 להקמת יחידת הערכה למכלול רחב של תוכניות למנהלים שביצעה אלכא. היו אלו תוכניות עבור משרדי ממשלה, רשויות מקומיות והמגזר השלישי. הנושא התקבל באהדה ותוקצב, ותאם את התפיסה האמריקאית של הגוינט (כארגון אמריקאי) כי יש לכל פרויקט, קורס או השתלמות או ערכת הדרכה, צריך להקצות אחוז סביר מהתקציב, להערכה. היחידה פעלה מספר שנים וקיימה בעיקר הערכה מעצבת ומסכמת של כל תכנית, ותרומתה העיקרית הייתה בדמות הקפדה לבנייה מושכלת, שיטתית ומושקעת של תכניות ההדרכה, על פי כל השלבים הקלסיים ״לפי הספר״. שלבים אלו כוללים: ניתוח המערכת, ניתוח עיסוקים, הגדרת אוכלוסיית היעד, צרכיה, מטרות התוכנית ויעדיה, בניית מערכת ההערכה המעצבת והמסכמת, בחירת התכנים, שיטות ההדרכה, עזרים, ארגון  ולוגיסטיקה. כל זאת לביצוע ההדרכה כחוויה לימודית מושקעת.

אלכא לא השקיעה מספיק בהערכה בדרגות הגבוהה של הערכת תוצאות ההדרכה רמות 3,4,5 - השפעות על התפקוד במקום העבודה על הארגון ועל ההחזר על ההשקעה-RETURN ON INVESMENT כמפורט במודל של קירפטריק *ושדרוגו בתוספת רמה 5 על ידי פיליפס. בשנים לאחר מכן דובר רבות על החשיבות והצורך בביצוע הערכת תוצאות הדרכה ברמות 3,4,5 אך בפועל מעט נעשה.

הדרכה ללא הערכה דומה לשליחת חללית לירח ללא מערכת בקרה

אני נזכר כי ב-1989 במאמר שלי ״הערכת פעולות הדרכה כמנוף להגברת האפקטיביות שלהן״. כתבתי: ״על הערכת פעולות הדרכה מרבים לדבר אך ממעטים לעשות״. טענתי הייתה כי עיקר ההשקעה בהדרכה מופנה להיבטים הנלווים ולא לליבה: לשכר מרצים, חומרי הדרכה, אירוח, שיטות הדרכה ולוגיסטיקה. הדבר דומה לשליחת חללית מאוישת לאחד מהכוכבים כאשר עיקר התקציב מושקע רק בחומרים מהם בנויה החללית. אם החללית תגיע ליעדה מצוין, אך אם לא תגיע, נבנה חללית אחרת״. גם בהדרכה אנו בבעיה דומה. רק מערכת הערכה, בקרה והפקת לקחים תאפשר משוב לפני במשך ואחרי, תיקוני סטיות והגעה בביטחון בהדרכה ליעדים שלה. הדרכות רבות ממשיכות להתבצע ללא הערכה מקצועית ראויה. ההשקעה העיקרית היא בבקרה של החללית בהשוואה למרכיבים האחרים. הערכת ההדרכה בדרך כזו או אחרת, חרף עלותה הגבוהה יחסית, הינה חלק מרכזי בהשבחת תהליך ההדרכה והצדקת קיומה. 

הערכה נתפסת כמרכיב מרכזי במודלADDIE  . המדובר במודל גנרי בן 5 שלבים לפיתוח הדרכה. מטרתו היא לסייע בהבנייה של תכנון הלמידה ויישומה, במטרה למקסם את אפקטיביות הלימוד. להלן השלבים:

1. ניתוח (Analysis): ניתוח הפערים הבעיות, סביבת העבודה, אילוצים ומגבלות אצל קהלי היעד. הגדרת מטרות הביצוע של כל תפקיד כדי להגיע לכשרות מרבית.

2. עיצוב (Design): קביעה ועיצוב רציונל ההדרכה, יעדי הלמידה, רצף ההדרכה, אסטרטגית ההדרכה, שיטות ההדרכה, עיצוב דידקטי של יחידות לימוד וכדומה.

3. פיתוח (Development): פיתוח תוצרי הלמידה והפקתם, יחידות לימוד, הרצאות, תרגילים, אמצעי המחשה, כלי הערכה, ופריטי מבחנים.

4. יישום (Implementation): ביצוע ההדרכה הלכה למעשה על פי כל השלבים בתכנון, תוך לווי תיעוד ומעקב מתן פתרונות ערכת עדכונים והתאמות.

5. הערכת ביצוע (Evaluation): תהליך שנמשך לאורך כל התוכנית ויישומה על מנת לוודא שהלומדים הגיעו לכשירות ומטרות ההדרכה הושגו, לרבות עריכת עדכונים והתאמות. הערכה היא חלק ממערך ההדרכה ומשולבת בו.

הערכה אינה רק מדידה אלא עיצוב מושכל של פעולת ההדרכה 

בתחום ההדרכה, הערכה מקבלת מובן רחב יותר המכסה לא רק את המדידה של ערך תכנית ההדרכה אלא גם משמשת לאיסוף וניתוח של האינפורמציה, החל משלב האבחון דרך יתר השלבים. בדרך זו ההערכה היא שותפה לכל הפעולות לפני במשך ואחרי ההדרכה. ראו יעקב ויטנברג, ״הערכת תוצאות הדרכה, קווים לדיון ופתוח״,  1978 עמוד 12. הערכה היא תהליך מבוסס על מדדים סובייקטיביים (שביעות רצון) ואובייקטיביים (מדידת ביצועים). קיימת הקפדה על הלימה של מטרות ההדרכה ומטרות הערכה. פעולות הערכה מוטמעות לפני במשך ואחרי התכנית.

הערכה היא תהליך חשוב, מורכב והפכפך: האם היא שווה את ההשקעה - ROI

לשם מה להעריך? מה יש להעריך? את מי? החניכים, המרצים, מחלקת ההדרכה, קבוצה מסוימת, חומרי הדרכה, האם נבדוק שינוי בידע, בעמדות בהתנהגות בעבודה, בהפחתת פגמים, הגדלת מכירות, שיפור איכות? האם ניתן לקצר את ההדרכה החיצונית או האם בכלל לקיימה (ראה הקשיים של העברת למידה מהכיתה לעבודה).  האם להסתפק בהדרכה במקום העבודה? מהי עלות ההדרכה, והאם זה שווה את זה? 

השאלות הללו ממחישות את המורכבות של כל מאמץ להעריך הדרכה מסוג כלשהו. הערכת הדרכה מהווה אתגר עבור מנהלי יחידות הדרכה, הנהלות, מרצים, מנחים, יועצים וכמובן המשתתפים עצמם. חשיבות בדיקת הביצועים האישיים, הצוותים  והארגוניים. יש כיום יותר כמיהה לעבור משיפור הדרכה לשיפור ביצועי עובדים.

יותר שאלות נוקבות נשאלות בארגונים עד כמה שווה להשקיע בהדרכה אם ארגונים  רבים מסתפקים בזה שהמשתלמים נהנו ונוסף להם ידע. כולנו מכירים היטב את חשיבות ההערכה ומה צריך לעשות כמו לדעת את החשיבות לאכול בריא, ולישון מספיק. מה שיש לנו בראש אינו מתורגם לעיתים קרובות למעשים. באופן דומה הערכה היא נושא שכל איש מקצוע יודע שהוא חשוב אך לא תמיד נעשית.

חשיבות ההערכה ברורה לכולם: בדיקה האם הציפיות – המטרות מושגות ואינן מושגות, להפוך את סביבת ההדרכה יותר תומכת ומסייעת, אפשרות לשנות ולהגדיר מחדש את ההדרכה כדי להגיע ליותר תוצאות, לזהות אילוצים על העברת למידה ולצמצמם, להוכיח שהדרכה היא השקעה ולא הוצאה. השגת תמיכת ומחויבות ההנהלה להדרכה, משוב למרצים ולמפתחי התוכנית כדי לשפרה, להצדיק ואולי להגדיל את תקציב ההדרכה להשפיע על החלטות עתיד איזה סוג תכניות יפותחו ניהול פונקציית ההדרכה ביותר מקצועיות. להעריך איזה אסטרטגיה להדרכה מתאימה יותר. 

בשלב מסוים מאוחר יותר היו לי הרהורים ואפילו ספקות על הכדאיות הכוללת של השקעה רבה בהערכה ביחס להשקעה בקורס עצמו. האם כאשר תקציבים מצטמצמים אנחנו רוצים לדעת האם ההשקעה מניבה תוצאות מוחשיות או כדאי להשקיע בעוד פעולות נוספות. למדתי גם על הטיות רבות בתהליכי ההערכה ברמה 1 ו-2 רמת התגובה והלמידה של קירפטריק ובמיוחד על חשיבות רבה מדי לממצאים והמסקנות של תגובות משתתפים בתוכנית.

שאלונים של שביעות הרצון הפכו לנפוצים ולעתים לא משקפים בתוצאותיהם את המציאות. מרבית פעולות הערכת הדרכה שבוצעו בשנים 1970-1985 ורבות מאלה שמבוצעות עתה אינן מגיעות  לרמות הגבוהות יותר בסולם של קירפטריק - התנהגות  בתפקיד ותוצאות ארגוניות. זאת בשל קשיים ארגוניים ומתודולוגיים ומחסור במשאבים. הערכה היא נושא מורכב והפכפך ומחייב מקצועיות מחד עם יצירתיות גמישות והתאמות רבות. חשוב לדעתי להשתמש לא רק בהערכה סטנדרטית, רוטינית מבוססת בעיקר על שאלוני תגובות דומים וקבועים. כך למשל ברינקרהוף  2005 מציע לבחון את אפקטיביות הדרכות דרך הצלחות וכישלונות של ביצועי העובדים בעקבות הלמידה .זאת על ידי סקר עובדים לאחר הלמידה ובחינה האם ובמה השתמשו מתוך התכנים שלמדו, ראיון מרצים, מנחים, הנהלות ארגונים, יועצים וכל מי שהדרכה יקרה לו. הוא גם מציע מיפוי לעומק של מספר סיפורי הצלחה ואי הצלחה נבחרים. מתוך הסיפורים המתועדים להמציא עדויות חותכות להצלחות או אי הצלחות. עדויות אלה הינן המעריך ומספק המידע המשמעותי ביותר לתהליכי למידה והצגת אפקטיביות. ברור שהן מתבססות על תיעוד רלוונטי של מסמכים מעידים שלא כל כך מתאים למציאות הישראלית. עם זאת, התבססות על מדדים כמותיים בלבד, אינה נותנת את התמונה המלאה.

דוגמה לסכנה של מהימנות הערכה ברמה הראשונה [על פיל קירפטריק)- של תגובות משתתפים

אחד האירועים שהטביע חותם עליי היה הערכה של תכנית למנכ"לים, ייחודית וחדשנית לאותה התקופה (שנות ה-80) שהייתה מבוססת על הנחייה בקבוצות קטנות של מנכ"לים של משרדי ממשלה. המנחים בדרך כלל יועצים בכירים מאוד עם ניסיון רב בשירות הציבורי [ראן 7]. שאלון הערכה סטנדרטי שהועבר למנכ"לים שהשתתפו בתוכנית הצביע על שביעות רצון גבוהה מאוד ממנחי התוכנית. כמנהל התוכנית וגם כמנחה בה, קיימתי שיחות לא פורמליות עם המשתתפים והתמונה שהתקבלה הייתה הפוכה. גיליתי אי שביעות רצון גבוהה מאחד המנחים שקיבל ציון גבוה במשוב (הפוך ממה שנכתב בשאלוני הערכה). שאלתי את המשתתפים למה לא ציינתם זאת בשאלון ההערכה המשוב? התשובה: ״המנחה מוכר לנו, נחמד ומוערך על הישגיו, לא היה לנו נעים ונוח להעביר עליו ביקורת״. המסקנה שלי היא ששאלוני תגובה יכולים להדליק בעיקר ״נורות אדומות״ אם התוצאות בינוניות ומטה. כאשר התוצאות טובות ומעלה אסור יותר מדי להתלהב מהן. הנושא של הערכה העסיק אותי שנים רבות לאחר מכן ובעיקר שאלות של כדאיות, מתי, כמה ואיך כדאי להשקיע בהערכת ההדרכה.

מודלים וגישות להערכת ההדרכה

הנתונים של ארגון ההדרכה האמריקאיASTD  מ-2016 מצביעים על: 90% מהארגונים מיישמים את רמה 1 של קירפטריק * 83% את רמה 2, 60% את רמה 3 ורק 35% מיישמים את רמה 4. להערכתי השימוש בישראל ברמה 3 ו-4 נמוך משמעותית ודומה ברמות 1 ו-2. 

הדבר המפתיע הוא שב-30 השנים האחרונות עדיין המודל בין 4 שלבים של קירפטריק מככב ומהווה את הליבה. במרוצת השנים, חוקרים שונים ניסו לשדרגו, הוסיפו מרכיב או החסירו ממנו. החשובים שבהם :המודל של  KAUFMANהמתבסס על 4 רמות קצת שונות (אפשור ותגובה, רכישה, יישום, ותוצאות חברתיות); המודל שלCIRO  שבו גם כן 4 רמות (הקשר ותוכן, תשומות, תגובה, ותוצאות); המודל של CIPP שבו 4 רמות מובחנות (הקשר, תשומה, תהליך, תוצר); המודל של פליפס המוסיף למודל של קירפטריק רמה חמישית חשובה והיא החזר על ההשקעה.

מעניין במיוחד הוא המודל של BRINKEROFF שבו 6 רמות: הצבת מטרות, עיצוב התוכנית, יישום התוכנית, תוצאות מידיות, תוצאות לטווח בינוני וארוך, השפעות וערך. מודל זה בשונה מזה של קירפטריק מתייחס גם לתוכנית עצמה; מודל IPO כולל 3 מרכיבים: תשומות, תהליך, תפוקות ותוצאות. מודל אירועי הצלחה שבו 5 רמות: הערכה ותכנון, השפעה, שעורי הצלחה, דוגמאות להצלחה וחוסר הצלחה ומסקנות; לבסוף מודל עם ראיה רחבה של DESSINGER העוסק בהערכה מעצבת, הערכה מסכמת, הערכה קונפורמטיבית ומטה הערכה.

כך נראה שהמודל של קירפטריק שנוצר בשנת 1959 לפני יותר מ60 שנים ועבר שני תיקונים ב- 1975וב-1994 עדיין הרלוונטי והנפוץ להערכת תוצאות הדרכה. חשוב  לדעתי הוא להעמיק בכל אחת מהרמות ובהחלטה איזה רמה של הערכה לבצע  באיזה תכנית. ברור שכל עליה ברמת הערכה יותר מורכבת ויקרה מבחינת השקעת משאבים. אפשר כמובן לדגל על רמות ולמשל להגיע לרמה הרביעית כן, אך כך נפסיד מידע רב בדרך להגיע להחלטות טובות יותר לגבי קורסים המתוכננים לביצוע. 

תובנות אישיות

להלן מספר תובנות לפוטנציאל התרומה של הערכה לשפור ההדרכה והלמידה עצמה, כמו גם בחינה של שנויים בתפקוד המשתלם והארגון כתוצאה מההדרכה.

• יש לבצע הערכה אך באופן סלקטיבי. לא בכל הרמות, לא בכל קורס או תכנית. יש לבחור לכל תכנית את הערכה המתאימה מ  5 -רמות ההערכה של קירפטריק המשודרג. יישום כל הרמות באותה תכנית יכול להיות כדאי ותורם או להיות מיותר, יקר וגוזל זמן. אין צורך תמיד למדוד הכול. תלוי מה מטרות ויעדי ההדרכה. 

• הקפדה על איכות ורלבנטיות כלי ההערכה: אפשר ברמות 1 ו-2 להשתמש  במערך מתודי מושכל של שאלונים בעלי תוקף, מהימנות והוגנות לבדיקת תגובות ושביעות ורצון. לצורך הערכת הלמידה אפשר להשתמש במבחני ידע לפני –אחרי המכסים היטב את הנלמד בתכנית. 

• המגבלות של הערכה ברמה  1ו-2: כדאי גם לזכור כי תוצאות גבוהות ואפילו גבוהות מאוד ברמות 1 ו-2 – שביעות רצון ולמידה אינן מבטיחות יישום בעבודה ובקרים רבים מעידים רק על למידה והנאה. ראו מאמרי על העברת למידה מכיתת הלימוד למקום העבודה [8].

• הערכה של הטמעת מיומנויות ניהול: מומלץ להשתמש ברמות  3 ,4, 5 כאשר מדובר בניהול ובמיוחד בנושאים ״הרכים״ של מנהיגות, הנעת עובדים, ניהול שינוי, ניהול ישיבות, עבודת צוות, ניהול זמן, ניהול משא ומתן, הצגת נושא, פתרון קונפליקטים וכדומה. רמות 3 ,4, 5 של קירפטריק הופכות כאן למשמעותיות. הצפייה העיקרית היא להשגת שיפורים בתפקיד הלומד במקום העבודה ולהשפעות ארגוניות רחבות יותר לפחות רמה 3 חיונית. כאשר מדובר ברמות הערכה אלה חשוב לקחת בחשבון גורמים מתערבים רבים שמקשים על ״העברה״ למקום העבודה. קשה לעיתים לומר בוודאות כי השנויים נגרמו רק כתוצאה מההדרכה ולא מגורמים אחרים. כדי להיות משוכנעים שהשנויים הם כתוצאה מההדרכה בלבד, יש צורך במחקר הערכתי הכולל קבוצת ביקורת אחת או יותר דבר המסבך ומייקר.

• גיוון סוגי הערכה: יש מקום בכלל ובפרט בקורסי ניהול  כללים ומיומנויות ניהול רכות להשתמש בארגז כלי הערכה מורחב, לשלוף ממנו בו זמנית כמה כלים רלוונטיים מותאמים למה בדיוק רוצים להעריך (לפי מטרות התוכנית). כך נגדיל מהימנות ותוקף. שימוש במספר כלי הערכה מאפשר לבדוק יותר מרכיבים בתוכנית ההדרכה, לשפר מחזור קיים ולתרום למחזורים נוספים בעתיד.

• גישת ההערכה לשם למידה (לא רק למדידה): מציעה את שיתוף הלומד בתהליך ההערכה כדרך להערכה עצמית וחשיבה רפלקטיבית. מדובר בסוג של הערכה מעצבת. כך למשל, מעניין במהלך הדרכה להשתמש במכשירי הצבעה  דמוי שלט לקידום הדרכה. באמצעות השלט המדריך יכול במהלך מפגש לקבל תמונת מצב על הידע של כל קבוצת הלומדים ועל הידע של כל משתתף. ניתן כיום כמובן לשדרג זאת על ידי שימוש בסלולרי, ללא עזרים ועלויות נלוות. כך מתאפשר למרצה להכניס שנויים במהלך שעור ובוודאי במהלך התוכנית. כאשר קיים שוני בין מחזורים של מנהלים באותו דרג המרצה יכול להגיב מראש להבדלי ידע התחלתי להתאמה טובה של המרצה-מנחה לצורכי הלומד. בנוסף נמנעת פסיביות הלומד. המידע שנאסף בזמן אמת מאפשר דיון פנימי בקבוצות משנה.

• הערכה היא תהליך מתמשך: שמטרתו להרחיב פיתוח והשתתפות ולערב את כל בעלי העניין. חשיבות מיוחדת לשתף את המשתלמים עצמם בתהליך ההערכה.

• הערכה אינה מרפא לכל בעיה ארגונית: הדרכה אינה תמיד יכולה לפתור כל בעיה ארגונית. חשוב לצנן את התלהבות היתר של אנשי ההדרכה להבטיח  פתרונות לבעיות שאין בכוח ההדרכה לפתור. לכן חייבים להכיר במגבלות שלה. לבצע הערכה להדרכה שאינה הפתרון המתאים לבעיה ארגונית תניב תוצאות מאכזבות תפגע ביוקרת היחידה. אין טעם במקרה כזה לבצעה. 

• הערכה כמותית: כדאי לעשות שימוש בהערכה במדדים ארגוניים מרכזיים-KPI, לפני ואחרי פעולת הדרכה. כדאי לאמץ אינדקס –מדד משוקלל  (שתוצאתו  מספר אחד) המבוסס על ציוני מספר מדדים הנמדדים בארגון ללא קשר להדרכה, ולהקנות משקל שונה רלוונטי למטרות ההדרכה. אפשר לאמץ גם את שיטת הרמזור. ציונים במדדים המרכזיים 1-4 אדום 5-7 צהוב 8-10 ירוק.

• לצמצם ניסיונות לבצע מחקרי הערכה להדרכה: כדאי להשקיע בהערכה יישומית לצורכי הדרכה ופתוח. מסרבל ויקר לבצע מחקר הערכתי ״בתנאי מעבדה״ כדי להגיע לדיוק מרבי הכולל גם קבוצות ביקורת. גישה מחקרית אינה מתאימה למורכבות סביבת העבודה, שיש בה הרבה גורמים מתערבים שמקשים על בחינת תפקוד והשפעה על הארגון (רמות 3 ,4 ,5). 

• התאמה של רמת ההדרכה לסוג התוכנית: 

רמה 1 - תגובה - יש להכיל על כל התכניות. ימי הדרכה ופעולות אחרות מאחר ומדובר בהערכה זולה שהערך המוסף שלה ביחס להשקעה כדאי מאוד.

רמה 2 - למידה - כדאי לעשות בה גם שימוש נרחב בקורסים מקצועיים וכאלה שמקנים מיומנויות קשות.

רמה 3 - כאשר מדובר במיומנויות רכות בתחומים ההתנהגותיים.

רמה 4 - שנויים בתפקוד הארגון כדאי לבצע בתוכניות יקרות יחסית 150,000 שקל ויותר. גם בהדרכת מהלכים אסטרטגיים ושנויים מהמעלה השנייה. 

•  12. נספח- המודל של קירפטריק ומשלימיו יתרונות ומגבלות 

מצאתי לנכון להציג בפרוטרוט למי שלא מכיר את המודל המרכזי מזה 40 שנה להערכה של קירפטריק. עליו מבוססים מודלים רבים מאוחרים יותר להערכת הדרכה. להלן רמות ההערכה במודל:

הרמה הבסיסית רמה 1- רמת התגובה -מתבססת בעיקרה על שאלונים הבודקים כיצד מגיבים הלומדים להכשרה, שביעות רצונם ממפגש, יום לימודים, תכנית שלמה, הרצאה בודדת. רמה זו נמדדת על ידי כלים כמו שאלוני שביעות רצון, שיחות חתך, סיכום שיחות שבועיות, שאלוני מרצה ומשתתף. ההתייחסות היא סובייקטיבית לתרומה של המרצים, התכנים, לעניין, לחשיבות, לרלוונטיות וליישומיות. רמה זו מודדת דבר אחד בעיקר התפיסה –התגובה של  הלומד להדרכה. רמה זו אינה מעידה על פוטנציאל הביצועים שהושגו בהדרכה כיוון שאינה מודדת אילו כישורים חדשים רכשו הלומדים או מה למדו שיועבר לסביבת העבודה. במילים של קירפטריק ״התגובה יכולה להיחשב בצורה הטובה ביותר עד כמה הלומדים אהבו את תכנית ההדרכה״  KIRKPATRIC[1996].

הרמה השנייה - הערכת  רמת  הלמידה ורכישת הידע- רמה זו מודדת את המידה בה משתתפים משנים: עמדות, משפרים ידע, ומחזקים מיומנויות. יש צורך בסוג כלשהו של בדיקה ״אחרי ״כדי לוודא איזה מיומנויות נלמדו במהלך ההדרכה. ברור שבדיקה ״אחרי״ תהיה תקפה אם נעשתה בדיקה ומדידה מוקדמת. מדידת הלמידה המתקיימת בתוכנית הדרכה חשובה על מנת לאמת את יעדי הלמידה. הערכה ברמה זו מתמקדת בשאלות כגון: איזה ידע נרכש  או אילו כישורים פותחו או שופרו או אילו עמדות שונו? האם הנלמד הוא מה שהתכוונו ללמד במהלך ההדרכה"

הערכה זו נמדדת על ידי כלים כמו מבחנים תאורטיים, מבחנים מעשיים, לפני-אחרי, תצפיות, מטלות אישיות, יומני למידה אישיים.

הרמה השלישית- התנהגות-ביצועים: הערכה זו כוללת בדיקת יכולת המשתלמים לבצע מיומנויות נלמדות תוך כדי עבודה ולא רק בכיתת הלימוד. הערכה כיצד ההדרכה מיושמת בסביבת העבודה –מדידת יכולתם של הלומדים לשנות התנהגותם ולהשתמש במיומנויות וידע חדש. נמדדת על ידי כלים כמו: שאלונים 360 מעלות לממונים, עמיתים, כפיפים, קבוצות מיקוד, תצפיות בשטח ומבחני כשרות. מדידה של רמה זו של הערכה חייבת להיבדק לאחר שהמשתלמים חזרו למקום עבודתם עם מעורבות גבוהה של עובדים ומנהלים מסביבת העבודה.

הרמה הרביעית-תוצאות -הערכה - עד כמה ההדרכה יש לה תוצאות לא רק ברמת הפרט אלא גם השפעה על תהליכים ותוצאות ברמה הארגונית. ברמה זו בוחנים את התועלות הממשיות מההדרכה והקשר שלהן לקידום מטרות הארגון. כמו: שיפור האיכות, הורדת עלויות, שפור ביצועים, צמיחה, שיפור תהליכים תחלופת עובדים, מספר תלונות, מכירות (כלומר מדידת KPI - מדדי ביצוע מרכזיים שכבר קיימים במערכת הניהול והדיווח של הארגון). רמת הערכה זו נמדדת על ידי כלים כמו: מערך מחקרי עם קבוצת ניסוי וקבוצת ביקורת, בקרת תקלות, סקר תרבת, סקר מחויבות ארגונית. רמה זו לעומת הקודמות דורשת יותר זמן אך מספקת מידע בעל ערך משמעותי יותר.

שלוש הרמות הקודמות מספקות מידע לשפור תוכנית ההדרכה עצמה. רמה רביעית זו מאפשרת לבחון החזר על ההשקעה בתהליך הלמידה.

נקודות החוזק של המודל הן פשטות, מתאים לסביבות רבות ומבוסס על ידע פופולרי וקל להבנה. חולשותיו: הוא פשוט מדי, רמה 1 ו 2 יכולות להיות פתוחות לפרשנות אישית ולכן נפגע הדיוק שלהן. חסר במודל רמות נוספות  כמו השפעה על החברה והחזר על ההשקעה. חוקרים אחרים, בהם פליפס וקאופמן, הוסיפו את רמה 5 ורמה 6. 

רמה 5 -החזר על ההשקעה –  -ROIהיחס בין התוצאות של ההדרכה שהתקבלו לעלויות שלה. עד כמה החזירה ההשקעה בהדרכה את עצמה? עד כמה ההדרכה הייתה כדאית? עד כמה השיטות של ההדרכה היו כדאיות? רמה זו בשונה מהרמות הקודמות שהתמקדו רק ביעילות ההדרכה אך לא בהחלטות כספיות בסביבה כלכלית הרלוונטית לבעלי עניין השונים. זו ההערכה האובייקטיבית ביותר אך יקרה יחסית וגוזלת זמן רב.

רמה 6. – השפעה על החברה-  קאופמן מוסיף רמה זו הבוחנת את סוג ההשפעה שיש ללמידה על החברה או על קבוצות בעלי עניין חיצוניים בחברה –קהילה.

חשוב להדגיש שהגעה לרמה גבוהה יותר של הערכה מחייבת לעיתים עמידה ובדיקת הרמות הקודמות ולכן גם קשה יותר ויקרה יותר. לכן חשוב להחליט  מראש מה הרמה המתאימה לאיזו תכנית הדרכה. יש למדוד מה נדרש כדי להגיע להחלטה נכונה לגבי הערך המוסף של ההדרכה.

קירפטריק סבור שכל רמה תלויה בהשגת הרמה הקודמת לה (יש שסוברים שאין הכרח וגם אני סבור כך). הוא ממליץ להתחיל בהגדרת התוצאות  הרצויות ולקבוע איזו התנהגות דרושה להשגתם, כלומר ראיה של להתחיל מהסוף בתכנון.

מקורות

1. יעקב ויטנברג, הערכת תוצאות הדרכה, קווים לדיון ולפתוח, נציבות שירות המדינה, מרץ 1978. 

2. נציבות שירות המדינה, תפיסת מערך הלמידה ההדרכה ופיתוח ההון האנושי בשירות המדינה, נובמבר 2015.

3. יעקב ויטנברג, הערכת פעולות הדרכה להגברת האפקטיביות שלהן, משאבי אנוש, דצמבר 1989.

4. יעקב ויטנברג, העברת למידה מכיתת הלימוד למקום העבודה בתוכניות הדרכה ופתוח, פצצה מתקתקת, פאי, אוגוסט 2020.

5. יעקב ויטנברג, פתוח מנהלים בכירים במגזר הציבורי עבר הווה ועתיד מנקודת מבט אישית, פאי אוגוסט 2020.

6. נציבות שרות המדינה, גוינט ישראל - אלכא, הערכת תהליכי למידה והדרכה בשירות המדינה 2014.

7. דוקטור סמי סעד, הערכת יעילות של הדרכה בנושא בטיחות, בטיחות 337, אפריל מאי 2012.

8. נציבות שרות המדינה 'הדרכה לתוצאות הערכת אפקטיביות למידה והדרכה בשירות המדינה מצגת למנהל.

9. KIRKPATRIC 'TCHNIQES 'FOR EVALUATING TRAININGPROGRAMS 1999

             10. KIRPATRICK D 'EVALUATING TRAINING PROGRAMS THE FOUR LEVELS SAN FRANCISCO'CA'1994

                11.   PHILLIPS HOW MUCH IS THE TRAINING  WORTH 1966

               12. PHILLPS' 'HANDBOOK OF TRAINING EVALUATION'HOUSTON TEXAS PUBLISHING COMPANY 1997

           13. BRINKERHOFF R O,THE SUCESSESS CASE METHOD'A STRATEGIC EVALUATION