یک ارزیابی مفید قبل از هر چیز روشن میکند چه تصمیمی باید با شواهد بهتر پشتیبانی شود. سپس سؤال، معیار موفقیت، منطق مداخله، داده و سطح ادعای مجاز را با همان تصمیم همراستا میکند.
ترتیب مهم است: اگر سؤال و تصمیم مبهم باشند، داده بیشتر فقط ابهام را گرانتر میکند.
پیش از انتخاب شاخص یا روش، بنویسید نتیجه ارزیابی قرار است کدام تصمیم را بهتر کند: ادامه، اصلاح، توقف، توسعه، هدفگیری مجدد یا تغییر شیوه اجرا.
یک پرسش تصمیمی مشخص و یک مخاطب مسئول استفاده از نتیجه.
سؤالهای فرایند، پیامد، اثر و ارزش برای پول را از هم جدا کنید. برای هر سؤال مشخص کنید چه مشاهدهای موفقیت، شکست یا نیاز به یادگیری بیشتر را نشان میدهد.
حداکثر سه سؤال اولویتدار همراه با معیار موفقیت و دامنه زمانی.
از نظریه تغییر یا مدل منطقی استفاده کنید تا مسیر مورد انتظار از فعالیت تا پیامد روشن شود؛ سپس عوامل بیرونی، روندهای همزمان و انتخاب گروهها را که میتوانند نتیجه را توضیح دهند ثبت کنید.
یک زنجیره تغییر، فرضهای حساس و فهرست توضیحهای جایگزین مهم.
برای هر سؤال، واحد تحلیل، خط پایه، منبع داده، تناوب، کیفیت، دسترسی، حریم خصوصی و گروههای متاثر را مشخص کنید. اگر اثر ممکن است بین گروهها متفاوت باشد، از ابتدا تفکیک معنادار نتایج و کفایت داده برای آن را طراحی کنید؛ دادهای که دیر، ناقص یا با کیفیت نامعلوم میرسد نباید ستون اصلی ارزیابی باشد.
نقشه داده شامل baseline، منبع، زمان گردآوری، تفکیکهای ضروری و محدودیتهای دسترسی، کیفیت و حریم خصوصی.
اگر هدف توصیف اجراست، ارزیابی فرایند میتواند کافی باشد؛ اگر میخواهید تغییر پیامد را به سیاست نسبت دهید، طراحی اثر باید با مقایسه معتبر و کنترل توضیحهای جایگزین متناسب باشد. ادعای قویتر به طراحی قویتر نیاز دارد.
یک طراحی متناسب با سؤال و سطح ادعای مجاز، همراه با محدودیت استنباط.
مشخص کنید چه زمانی داده برای تصمیم بعدی کافی است، چه آستانه یا نشانهای باعث بازنگری سیاست میشود، چه کسی نتیجه را مرور میکند و چه بخشهایی از روش و محدودیتها باید منتشر شوند.
تقویم تصمیم، trigger بازنگری، مسئول مرور و برنامه شفافیت و انتشار.
اگر سیاست برای گروهها هزینه، دسترسی، ریسک یا منفعت متفاوتی ایجاد میکند، فقط نتیجه کل را گزارش نکنید. پیش از گردآوری داده مشخص کنید کدام تفکیکها برای تصمیم واقعاً لازماند، آیا داده برای مقایسه آنها کافی و قابل اتکاست، و آیا جمعآوری یا انتشار همان تفکیک میتواند حریم خصوصی، انگزنی یا آسیب تازه ایجاد کند.
برای تعیین اینکه چه کسانی ممکن است کمصدا، پرریسک یا در اجرا اثرگذار باشند، تحلیل ذینفعان را ورودی طراحی سؤال و داده قرار دهید؛ اما گروهبندی را صرفاً از روی سهولت داده یا برچسبهای آماده نسازید.
گزارش روند، پایش اجرا و سنجش رضایت مفیدند، اما بهتنهایی اثر علّی را ثابت نمیکنند. برای نسبتدادن تغییر به سیاست باید توضیحهای جایگزین تا حد متناسبی کنترل شوند و طراحی مقایسه با نوع مداخله و امکان اجرای آن سازگار باشد.
اگر طراحی امکان استنباط قوی نمیدهد، نتیجه را بهصورت «شواهد سازگار با اثر»، «تغییر مشاهدهشده» یا «یادگیری درباره اجرا» گزارش کنید؛ نه اثر قطعی.
وقتی داده به trigger یا نقطه تصمیم رسید، یافته باید دوباره وارد تصمیمسازی شود؛ نه اینکه فقط در گزارش بماند.