Teknik Monitoring dan Evaluasi Kebijakan Publik

Uji Lapangan Dari Sebuah Alat Baru Untuk Melakukan Evaluasi Dimensi Nilai Yang “Tidak Berwujud (Nampak)” Dari Sebuah Proyek

By: Gemma Burford, Ismael Velasco, Svatava Janousˇkova´, Martin Zahradnik, Tomas Hak, Dimity Podger, Georgia Piggot, Marie K. Harder

Pendekatan evaluasi dan strategi untuk mendesain sebuah alat yang dapat digunakan oleh banyak LSM dalam menilai ketidak jelasan sebelumnya, nilai-nilai aspek yang relatif dari proyek dan aktivitas mereka. Alat ini, yang kita telah kita beri nama “WeValue” yang terdiri dari serangkaian referensi 166 berbasis nilai indikator, bersama dengan permintaan bimbingan mereka. Indikator-indikator diwakili dalam sebuah format “menu” dimana fasilitas dengan benar digunakan LSM untuk mengidentifikasi dan memperoleh bentuk yang jelas apa yang tidak jelas sangatlah penting bagi mereka dan itu yang mereka harapkan untuk dievaluasi. “menu’ kedua yang disediakan untuk metode penilaian yang potensial berguna dibarengi oleh catatan pembimbing yang rinci. Dalam penilitian ini, kami melaporkan uji lapangan dai alat WeValue dengan tiga LSM dan setelah itu didiskusikan kekhususan mereka dalam luasnya disiplin dari monitoring dan evaluai.

Overview

Alat WeValue dapat digunakan oleh organisasi untuk mengukur proses dan hasil nilai relatif yang dimiliki himpunan anggota LSM secara bersama-sama memilih dasar nilai indikator yang relevan untuk menggunakan dari 166 item daftar referensi dari WeValue. Alat WeValuae memiliki tiga elemen yang terpisah untuk dievaluasi, yaitu indikator, alat penilaian potensi dan proses yang terlibat. Tujuannya adalah untuk menentukan kegunaan keseluruhan dari selruh alat untuk sampel yang lebih besar dari LSM mitra luar yang terlibat.

Maksud dan tujuan

Tujuan dari alat evaluasi adalah untuk menentukan apakah alat WeValue dapat menilai proses nilai-nilai relatif dan hasil pada peringkat dari LSM. Tujuan khusus adalah :

Ø Menentukan apakah indikator WeValue adalah cocok dengan LSM sebagai yang relevan dengan kerja mereka.

Ø Untuk menentukan apakah partisipasi LSM mencari indikator yang berguna dalam evaluasi lokal mereka sendiri.

Ø Untuk mengadakan penyelidikan apakah indikator yang mampu menyediakan penilaian pengaturan LSM, misalnya apakah alat peilaian yang tepat sebenarnya dapat dikembangkan dan dilaksanakan untuk menghasilkan kegunaan data yang berlawanan dengan indikator itu.

Ø Untuk menentukan apakah data yang dihasilkan memiiki validitas yang memadai, yang relevan saat ini, berarti dan berguna untuk LSM.

Ø Untuk mengidentifikasi apakah salah satu perubahan utama sikap yang terjadi untuk para LSM karena penerapan WeValue.

Metode

Uji lapangan dari alat WeValue ini dilakukan di tiga organisasi. Metodologi dari alat ini berisi 5 proses partisipasi, yang dilakukan setiap kasusnya :

1) Menentukan indikator WeValue dalam daftar referensi yang umumnya berkaitan dengan LSM

2) Pengelokasian susunan kata indikator yang spesifik dengan konteks LSM, dan memilih sebuah daftar pendek yang LSM dapat menjadi penilaian dalam evaluasi lokal yang spesifik tersebut.

3) Pemilihan metodologi yang tepat dari “menu” WeValue dan pengembangan alat penilaian yang sebanding terkait dengan kegiatan yang ada dalam aktivitas LSM.

4) Pengumpulan data biasa dipimpin oleh staff LSM

5) Analisis data lokal dan refleksi LSM, untuk memeriksa apakah percobaan dapat diambil dari data yang dikembangkan denan alat WeValue.

Analisis Data

Dalam masing masing bidang studi individu, analisis data lokal dilakukan bersama oleh semua rekan evaluator. ini mencakup memeriksa data lokal dalam pertanyaan evaluasi kekhusussan LSM, yang mana berkaitan dengan hasil proyek di keduanya proses evaluasi dan implementasi program ketiga. Dimanapun LSM ingin pengujian ketat indikator tertentu, beberapa bukti yang berasal dari alat penilaian tertentu. Namun, tingkat memahitkan tidak selalu diperlukan, juga diandang perlu, seperti pemandu utama untuk pemanfaatan LSM.

Pada bidang studi, evaluasi secara keseluruhan dari alat WeValue beberapa dilakukan melalui beberapa dan diskusi berulang – ulang antara peneliti universitas dan juga seluruh konsorsium proyek.

Relevansi Indikator WeValue untuk partisipasi LSM

Pendorong utama untuk mengembangkan alat evaluasi yang baru adalah kebutuhan LSM dinyatakan untuk satu yang dapat mengukur nilai-nilai berbasis dimensi. Partisipasi LSM bermakna sangat penting dalam evaluasi tersebut jika secara khusus 'berwujud' memerlukan penilaian diidentifikasi dengan benar. Secara khusus, Daigneault dan Yakub (2009) mengamati bahwa dimensi yang penting partisipatif evaluasi adalah sejauh mana stakeholder (misalnya, pembuat kebijakan, pelaksana proyek dan penerima manfaat) terlibat dalam memilih pertanyaan dan masalah evaluasi. Springett (2001) telah menekankan bahwa evaluasi partisipatif yang benar membutuhkan pemangku kepentingan untuk mengembangkan sendiri indikator keberhasilan dari awal. Pendekatan baru kami telah menggunakan 'menu' indikator yang sebanding yang dapat digunakan untuk mempercepat pembangunan indikator di organisasi-organisasi serupa. Ini dikembangkan oleh konsorsium project ESDinds, dan relevansi mereka untuk mereka sendiri, bergabung atau tidak bergabung diperlukan mengevaluasi LSM.

Alat dan metode Penilaian

Untuk setiap indikator lokal yang dipilih untuk digunakan dalam studi ini, itu adalah mungkin untuk mengembangkan penilaian yang sukses setidaknya satu alat yang dapat digunakan untuk mengumpulkan data yang relevan. Semua peserta LSM memilih untuk memanfaatkan campuran metode kualitatif dan kuantitatif dalam evaluasi lokal mereka, dan dalam beberapa kasus, kedua jenis metode yang digunakan untuk mengukur indikator yang tunggal. Pendekatan ini didorong (tidak dipungut), sebagai konvergensi dari hasil pengukuran berbeda adalah indikasi yang kuat validitas. Bahkan ketika penilaian individu 'itulah sempurna', mereka masih dapat dihitung untuk menghasilkan kesimpulan yang sah, asalkan mereka kongruen dalam temuan mereka tetapi berbeda dalam kekurangan mereka. Hasil uji lapangan WeValue mengkonfirmasi beberapa keuntungan yang dilaporkan sebelumnya dicampur-metode evaluasi. Onwuegbuzie et al. (2007) merujuk, sebagai contoh, '' kelemahan minimalisasi legitimasi'', sebuah skenario di mana kelemahan satu pendekatan dikompensasi oleh kekuatan lain; Sementara Bouffard, Taxman dan Silverman (2003) telah mengamati bahwa menggabungkan metode menghasilkan pemahaman yang lebih kaya dari proses dan meningkatkan manfaat dari proses evaluasi kepada pemangku kepentingan. Dari ketiga studi kasus kami, hasil kuantitatif, yang menunjukkan gambaran besar tetapi disediakan hanya jawaban dangkal atas pertanyaan LSM, yang dilengkapi dengan data kualitatif yang kaya yang diisi dalam rincian mengapa responden merasa atau berperilaku dengan cara yang mereka lakukan. Hal ini memungkinkan kekuatan, kelemahan, peluang dan ancaman untuk jelas diidentifikasi dan diselesaikan:

1) Pada lokakarya PIMAUG, survei spasial dan fisik (kuantitatif) mengungkapkan bahwa mayoritas peserta merasa diberdayakan, focus group (kualitatif) disorot banyak juga kurangnya kesadaran tentang bagaimana menerjemahkan antusiasme mereka dan motivasi ke tindakan praktis yang efektif. Dalam lokakarya berikutnya PIMAUG telah menawarkan menu' tertentu peluang relawan.

2) Dalam proyek SLRCS, pengamatan terstruktur (kuantitatif) diperbolehkan fasilitator untuk menghitung berapa banyak individu yang memonopoli diskusi atau yang pasif, sementara tindak lanjut wawancara (kualitatif) memberikan wawasan alasan bagi keengganan untuk berpartisipasi. Hal ini memungkinkan identifikasi dari tindakan efektif dukungan di masa depan.

3) Di PT, pengamatan dan penilaian terstrktur perilaku interpersonal diri (kuantitatif), memberikan jumlah pemuda yang merasa bahwa mereka dipamerkan tertentu perilaku 'positif' dan 'negatif' dibandingkan mereka yang benar-benar dipamerkan mereka. Dialog lanjutan (kualitatif) menciptakan peluang-peluang baru untuk percakapan bermakna antara staf dan pemuda-'bagaimana Anda melihat diri sendiri' vs 'bagaimana kita melihat Anda'. Hasil ini, diambil bersama-sama, membantu staf untuk mengidentifikasi cara mendukung individu-individu yang lebih efektif untuk memenuhi potensi mereka

Kesesuaian untuk tujuan

Ketegangan antara mengejar ilmiah kekakuan dan fleksibel untuk berbagai kebutuhan dan harapan, dilaporkan dalam literatur penelitian tindakan (Peterson, 2010), para peserta yang tersisa sangat relevan dengan evaluasi. Penekanan berlebihan pada beberapa metode penilaian dan cross-cek sistematis, terutama bila dipaksakan oleh evaluator eksternal atau peneliti, bisa meyakinkan staf LSM yang pendekatan seperti WeValue permintaan tidak praktis tingkat investasi waktu dan sumber daya. Kontribusi yang berguna untuk perdebatan ini telah dibuat, namun, oleh Cox et al. (2007) dengan konsep 'kebugaran untuk tujuan'. Penelitian yang cocok untuk tujuan, mereka menegaskan, membahas masalah yang penting bagi masyarakat; telah jelas tujuan ditetapkan dan pertanyaan penelitian; dan memanfaatkan secara teoritis dan metode etis yang sah yang dapat menjawab pertanyaan penelitian dan memenuhi tujuan dari penelitian. Dalam sebuah LSM, mungkin ada beberapa tujuan untuk melakukan pemantauan dan evaluasi, berpotensi menuju pengembangan sistem paralel. Di satu sisi, pengumpulan data skala kecil dan analisis bisa dimasukan kedalam kegiatan proyek yang sedang berlangsung (seperti dalam contoh PIMAUG) untuk meningkatkan efektivitas mereka tanpa komitmen besar sumber daya; Sementara itu, di sisi lain, evaluasi eksternal ketat dengan indikator WeValue dapat dilakukan pada tahap utama dalam siklus hidup proyek untuk memberikan pertanggungjawaban kepada donor dan publik.

Kesimpulan

Alat WeValue dengan komponennya asli telah ditunjukkan untuk mengisi kesenjangan yang dikenal dalam metode evaluasi dengan membuat hasil berbasis nilai sebelumnya 'tidak berwujud' nyata. Ini telah berhasil digunakan untuk evaluasi lokal oleh berbagai LSM dan bermanfaat dalam konteks berbeda evaluasi-dari menilai hasil yang berkaitan dengan nilai-nilai lokakarya hanya beberapa jam dalam durasi, untuk pemantauan hubungan interpersonal dan pelaksanaan proses dalam proyek-proyek jangka panjang. Kami menyarankan bahwa kekuatan pendekatan WeValue, dan kunci untuk penerapannya yang luar biasa, terletak pada kenyataan bahwa itu terstruktur dan localisable. Dengan menyediakan kerangka indikator yang memungkinkan lokalisasi untuk konteks tertentu, itu memunculkan baik keterlibatan dan partisipasi, dan dengan demikian kepemilikan dan pemanfaatan hasil evaluasi. Namun, hasil dari indikator yang diberikan pada daftar dapat dibandingkan di seluruh organisasi (meskipun dengan beberapa normalisasi). WeValue dengan demikian menyediakan jembatan antara 'partisipatif' dan 'konvensional' evaluasi.

Dari ketiga uji coba lapangan yang disajikan di sini, LSM melaporkan bahwa evaluasi retuned informasi penggunaan, relevansi dan makna mereka. Mereka tidak merasa bahwa kerangka dikenakan eksternal nilai, tetapi sebaliknya, itu memfasilitasi evaluasi mereka sendiri. Ini adalah prestasi yang sukar dipahami berdasarkan evaluai LSM. Informasi yang diperoleh dalam setiap kasus adalah penggunaan yang signifikan dan menarik bagi pemangku kepentingan yang lebih luas, memberikan kosa kata baru untuk memungkinkan pengembangan bersama.

Alat WeValue dengan komponen ide barunya dengan demikian mewakili alat evaluasi 'generasi baru' yang menggunakan ide-ide baru kunci dalam partisipatif, berfokus pada pemanfaatan dan berbasis proses evaluasi, sendiri yang dibingkai melalui lensa nilai-nilai yang kompatibel dengan karya organisasi masyarakat sipil dan organisasi lainnya berbasis nilai-nilai. Dengan demikian alat menunjukkan janji untuk digunakan dengan sangat berbagai organisasi termasuk lembaga pendidikan, penyedia layanan kesehatan, Universitas dan bisnis, apakah atau tidak mereka memiliki komitmen eksplisit untuk nilai-nilai yang lebih tinggi. Namun, set baru indikator mungkin perlu dihasilkan rekan untuk masing-masing sektor.

Pendekatan ini asli memiliki kontribusi untuk membuat dalam perdebatan-perdebatan yang saat ini dalam nilai-nilai lingkungan, pendidikan lingkungan dan indikator pembangunan berkelanjutan dimana kesulitan dalam crystallising dan mengukur konsep-konsep yang berbasis nilai-nilai dalam konteks yang berbeda dan kelompok kunci yang menarik. Alat yang dijelaskan dalam makalah ini dapat diakses di www.wevalue.org online platform, yang menyediakan studi kasus, pedoman dan rincian kontak untuk berpengalaman WeValue evaluator. 'Perpustakaan' dari alat penilaian, dan berbagai paket pelatihan evaluator dan staf LSM, saat ini sedang dikembangkan.

TTD; Ely Goro Leba. FISIPOL UGM

SUmber: Gemma Burford, Ismael Velasco, Svatava Janousˇkova´, Martin Zahradnik, Tomas Hak, Dimity Podger, Georgia Piggot, Marie K. Harder