دستورالعمل سنجش اثربخشی برنامه های آموزشی دستگاه های اجرایی (پیوست بخشنامه شماره 18819/92/200 مورخ 14/11/1392 معاونت توسعه مدیریت و سرمایه انسانی رییس جمهور)
در اجراي بند «د» ماده 4 نظام آموزش كارمندان دستگاه هاي اجرايي (موضوع بخشنامه شماره 1834 /200 مورخ 30 /1 /1390)، دستورالعمل سنجش اثربخشي برنامه هاي آموزشي دستگاه هاي اجرايي به شرح زير ابلاغ مي شود:
دستورالعمل سنجش اثربخشي برنامه هاي آموزشي دستگاه هاي اجرايي
ارزشيابي آموزشي و سنجش اثربخشي برنامه هاي آموزشي آخرين مرحله از چرخه آموزش كاركنان است كه نقش كليدي در كنترل كيفيت چرخه آموزش، با فراهم كردن بازخورها [بازخوردها] در خصوص اثربخشي محتوي و روش هاي آموزش، ميزان تحقق اهداف تعيين شده و اينكه آيا نيازهاي شناسايي شده سطوح سازماني، شغلي و فردي محقق شده اند، ايفا مي نمايد. بر اساس بند «د» ماده 4 نظام آموزش كارمندان دولت، ارزشيابي برنامه هاي آموزشي از جمله سنجش اثربخشي برنامه ها بر عهده دستگاه هاي اجرايي نهاده شده است. اين دستورالعمل به منظور همسان سازي و يكپارچگي در سنجش اثربخشي برنامه هاي آموزشي طراحي و تدوين شده است.
ماده 1- تعاريف واصطلاحات
اثربخشي آموزشي: فوايد و منافع ملموس و ناملموس حاصل از يك برنامه آموزشي براي فراگيران و دستگاه اجرايي.
سنجش اثربخشي آموزشي: فرايند اندازه گيري نتايج آموزشي (فوايد و منافع ملموس و ناملموس) يك برنامه آموزشي در 4 سطح ارزشيابي از طريق ملاك ها و استانداردهاي از پيش تعيين شده توسط دستگاه اجرايي.
برنامه آموزشي: به يك دوره آموزشي مصوب در چهارچوب نظام آموزش كارمندان دولت اطلاق مي شود كه براي عده اي خاص يا عموم كارمندان و يا مديران يك دستگاه اجرايي در يك زمان بندي مشخص با اهداف تعيين شده، طراحي و اجرا مي گردد.
ماده 2- اهداف و انتظارات
2 /1: فراهم نمودن بازخوردهاي لازم و بهنگام در مورد يك برنامه آموزشي براي مديران و دست اندركاران آموزش دستگاه هاي اجرايي براي قضاوت درباره برنامه آموزش و برنامه ريزي براي بهبود آن.
2 /2 : تهيه آمار و اطلاعات كمي و كيفي در مورد برنامه هاي آموزشي كارمندان و مديران براي ارائه به مديران ارشد دستگاه ها و مراجع نظارتي.
2 /3 : تصميم گيري در خصوص تداوم يا عدم تداوم يك برنامه آموزشي از طريق نتايج حاصله از فرايند سنجش اثربخشي آموزشي.
ماده 3. مدل 4 سطحي سنجش اثربخشي آموزشي
به منظور سنجش اثربخشي آموزشي برنامه هاي آموزشي در دستگاه هاي اجرايي از مدل 4 سطحي به شرح زير استفاده شده است:
3 /1- ارزشيابي واكنش فراگيران
اولين سطح، ارزشيابي عكس العمل ها يا واكنش فراگيران و همچنين ميزان مشاركت و درگيري آنها در برنامه است و منظور از آن واكنشي است كه شركت كنندگان در يك برنامه آموزشي در مورد آن برنامه از خود نشان مي دهند و بيانگر ميزان رضايتي است كه فراگيران از برنامه آموزشي دارند. ارزشيابي واكنش ها يا عكس العمل ها داراي اين ارزش است كه مي تواند بازخورد فوري براي عملكرد مدرس دوره و نيز پيشنهادهايي براي بهبود دوره و برنامه آموزشي فراهم نمايد.
3 /2- ارزشيابي يادگيري
ارزشيابي يادگيري در يك برنامه آموزشي يعني تعيين حداقل يكي از موارد زير:
– چه دانشي فرا گرفته شده است؟
– چه مهارتي ايجاد شده است؟
– چه نگرشي تغيير يافته است؟
در سطح دوم يعني سطح يادگيري، در واقع اين پرسش مطرح است كه آيا فراگيران واقعاً آنچه را كه دوره درصدد دستيابي به آن بوده ياد گرفته اند يا خير؟ اين نوع ارزشيابي از آن نظر اهميت دارد كه تسلط فراگيران را بر دانش و مهارت هاي ارائه شده در دوره نشان مي دهد و در همين حال بازخوردهاي لازم را به مدرسان و طراحان در مورد اينكه كدام اهداف تحقق يافته اند و يا تحقق نيافته اند و بايد در دوره هاي آموزشي بعدي مجدداً دنبال شوند، فراهم مي نمايد.
3 /3- ارزشيابي تغيير رفتار
سومين سطح سنجش اثربخشي آموزشي عبارتست از: تعيين اين واقعيت كه آيا دانش و مهارت هاي آموخته شده در طي دوره هاي آموزشي در دستگاه اجرايي به كار گرفته شده اند و تغيير محسوس و معني داري در رفتار افراد شركت كننده در دوره ها به وجود آمده است؟ اين نوع ارزشيابي مدتي پس از اتمام دوره معمولاً 6 ماه تا يكسال بعد، انجام مي شود. منظور از ارزشيابي سطح سوم، سنجش ميزان تغييرات حاصله در رفتار شغلي به عنوان نتيجه يادگيري دانش و مهارت هاي جديد در دوره هاي آموزشي است. هنگامي كه يادگيري به وقوع پيوست، مرحله بعدي عبارت از به كارگيري اين مهارت ها در راستاي عملكرد شغلي است. تغيير رفتار يا انتقال يادگيري به عوامل متعدد بستگي دارد كه اكثر آنها تحت كنترل مدرسان دوره ها نيست. 5 الزام براي تغيير رفتار شغلي موفقيت آميز شناسايي شده است. اين عوامل عبارتند از:
1- علاقه و تمايل به تغيير؛
2- مهارت براي تغيير؛
3- جوّ كاري مناسب و مطلوب؛
4- پشتيباني و حمايت براي به كارگيري مهارت هاي جديد؛
5- پاداش براي تغيير رفتار؛
4/3 – ارزشيابي نتايج
سطح چهارم سنجش اثربخشي برنامه آموزشي به نتايج و فوايد برنامه آموزشي براي دستگاه اجرايي اختصاص دارد. پرسش اساسي در اين سطح اين است كه دستگاه اجرايي چه نفعي از برنامه آموزشي اجرا شده برده است؟ اثرات سازماني دوره چه بوده است؟ اين نوع ارزشيابي مستلزم گذشت حداقل 1 تا 2 سال از زمان برگزاري دوره است.
ماده 4 . فرايند سنجش اثربخشي آموزشي برنامه ها
4 /1 – دستگاه هاي اجرايي موظفند بر اساس برنامه هاي آموزشي مصوب ساليانه، مطابق شاخص هاي زير برنامه سنجش اثربخشي آموزشي دستگاه را تهيه و اجرا كنند:
1- ساعت يا مدت زمان برنامه آموزشي؛
2- ارتباط بين برنامه آموزش با استراتژي ها و اهداف سازماني؛
3- كاربردي و تخصصي بودن برنامه آموزشي بر اساس نياز شغلي؛
4- بالابودن هزينه برنامه آموزشي؛
5- بالابودن تعداد شركت كنندگان در برنامه آموزشي؛
6- اهميت زياد برنامه براي مديران ارشد دستگاه اجرايي؛
4 /2- نحوه انتخاب حداقل تعداد برنامه هاي آموزشي براي سنجش در سطوح مختلف اثربخشي آموزشي بر اساس معيارهاي فوق به شرح زير است:
1) واكنش فراگيران در تمامي برنامه هاي آموزشي كه توسط دستگاه هاي اجرايي برگزار مي شود، بايد مورد سنجش قرار گيرد.
2) يادگيري فراگيران در تمامي برنامه هاي آموزشي كه توسط دستگاه هاي اجرايي و مراكز و مؤسسات مورد تاييد برگزار مي شود، بايد مورد سنجش قرار گيرد.
3) تغيير رفتار فراگيران پس از اجراي برنامه آموزشي كه براي آنها اهداف رفتاري وكاربردي تعريف شده است در محيط كار كارمندان و مديران بايد مورد سنجش قرار گيرد. در هر صورت تعداد برنامه هاي ارزشيابي شده در اين سطح نبايستي كمتر از 25 درصد كل برنامه هاي آموزشي مصوب ساليانه باشد.
4) از بين برنامه هاي آموزشي كه ارزشيابي سطح سوم بر روي آنها انجام شده است بايد حداقل 30 درصد آنها با توجه به معيارهاي بند 1 -4، توسط كميته راهبري آموزش دستگاه براي سطح 4 سنجش اثربخشي انتخاب شده و مورد سنجش قرار گيرند.
4 /3- دستگاه هاي اجرايي موظفند بر اساس روش ها و ابزارهاي زير، سنجش اثربخشي برنامه هاي آموزشي را در سطوح 4گانه انجام دهند:
الف) سنجش واكنش فراگيران
شاخص هاي سنجش: واكنش فراگيران بايد نسبت به ارتباط برنامه آموزشي با نياز شغلي/ سازماني- كيفيت محتوي آموزش- مدرس- محيط يادگيري – زمانبندي اجرايي و نظاير آن متناسب با نوع و محتوي دوره مورد ارزيابي قرار گيرد.
ابزار سنجش: براي سنجش واكنش فراگيران از «پرسشنامه سنجش واكنش فراگيران» كه در بردارنده شاخص هاي فوق است، استفاده مي شود. دستگاه هاي اجرايي مي توانند علاوه بر شاخص هاي تعريف شده، شاخص هاي اختصاصي ديگري را در صورت نياز براي برنامه هاي آموزشي مختلف تعيين كنند.
زمان سنجش: پس از اتمام برنامه هاي آموزشي قبل از ترك محيط يادگيري بايد پرسشنامه هاي سنجش واكنش فراگيران توسط شركت كنندگان در برنامه تكميل شود.
ب) سنجش يادگيري فراگيران
شاخص هاي سنجش: ميزان يادگيري فراگيران در 3 بخش دانش/ مهارت/ نگرش بر اساس سرفصل و محتوي برنامه آموزشي سنجيده مي شود. دانش/ مهارت/ نگرش بايد بر اساس هدف هاي آموزشي / رفتاري دوره مورد سنجش قرار گيرند.
ابزار سنجش: براي سنجش يادگيري فراگيران در برنامه هاي آموزشي از “آزمون” ( آزمون استاندارد/ آزمون مدرس ساخته/ آزمون عملي بر حسب نياز) بايد استفاده شود. دستگاه هاي اجرايي موظفند براي برنامه هاي آموزشي، آزمون را در قبل و پس از اجراي آموزش (پيش آزمون- پس آزمون) به منظور تعيين تفاوت بين يادگيري فراگيران برگزار كنند.
زمان سنجش: قبل از شروع برنامه، پيش آزمون برگزار شود و حداكثر يك هفته پس از اتمام برنامه بايد پس آزمون اجرا شود.
ج) سنجش تغيير رفتار فراگيران
شاخص هاي سنجش: رفتار فردي/ سازماني يا شغلي كه بايد فراگيران پس از اتمام برنامه هاي آموزشي در محيط سازماني خود نشان دهند. اين رفتارها بايد بر اساس اهداف رفتاري دوره تعيين و مورد سنجش قرار گيرند
ابزار سنجش: براي سنجش رفتار فراگيران در محيط كار و دستگاه اجرايي از “پرسشنامه سنجش رفتار فراگيران” استفاده مي شود. اين پرسشنامه توسط مدير بلافصل فراگير و خود فراگير تكميل مي شود.
زمان سنجش: 3 الي 6 ماه پس از پايان برنامه آموزشي بايد رفتار فراگيران در محيط سازمان مورد سنجش قرار گيرد.
د) سنجش نتايج سازماني
شاخص هاي سنجش: برخي از شاخص هايي كه در ارزيابي نتايج سازماني برنامه هاي آموزشي بايد مورد سنجش قرار گيرند عبارتند از: افزايش كيفيت ارائه خدمات/ افزايش بهره وري سازماني/ حل مسائل و مشكلات عملكردي/ كاهش هزينه ها / صرفه جويي/ زمان تكميل طرح ها و پروژه ها / افزايش رضايت كارمندان.
دستگاه هاي اجرايي موظفند بر اساس اهداف و ماهيت برنامه هاي آموزشي خود شاخص هاي مربوط به نتايج سازماني را شناسايي و تعريف كنند.
ابزار سنجش: براي سنجش نتايج سازماني برنامه هاي آموزشي از نسبت هزينه – فايده و محاسبه بازگشت در سرمايه گذاري آموزش (ROI) استفاده مي شود. فرمول تجزيه وتحليل هزينه – فايده به شرح زير است:
نسبت هزينه به فايده: هزينه هاي برنامه آموزش ÷ فوايد برنامه آموزش
بازگشت سرمايه گذاري در آموزشROI: هزينه آموزش – منافع آموزش / منافع آموزش
زمان سنجش:6 ماه تا يك سال پس از پايان برنامه آموزشي، بايد نتايج سازماني آنها در محيط سازمان مورد سنجش قرار گيرد.
4 /4 – دستگاه هاي اجرايي موظفند در هر سطح از سنجش اثربخشي برنامه هاي آموزشي از تحليل هاي آماري توصيفي و استنباطي مانند ميانگين، انحراف معيار، خطاي استاندارد و غيره استفاده كنند.
4 /5- دستگاه هاي اجرايي موظفند پس از انجام اثربخشي برنامه هاي آموزشي، گزارش مربوط به آن را تهيه و پس از تأييد كميته راهبري آموزش به معاونت ارائه كنند. گزارش سنجش اثربخشي بايد شامل: نتايج ارزشيابي در سطوح 4 گانه براي برنامه هاي آموزشي ارزشيابي شده به انضمام تحليل هاي آماري مربوطه باشد.
4 /6 – معاونت، سالانه گزارش هاي ارسال شده را مورد بررسي و تجزيه و تحليل قرار مي دهد و دستگاه هاي اجرايي را از نظر ميزان اثربخشي آموزش ها رتبه بندي مي نمايد و گزارش نهايي را تهيه و به نحو مقتضي اطلاع رساني مي كند.