Teknik Monitoring dan Evaluasi Kebijakan Publik
Teknik Monitoring dan Evaluasi Kebijakan Publik
Uji Lapangan Dari Sebuah Alat Baru Untuk Melakukan Evaluasi Dimensi Nilai Yang “Tidak Berwujud (Nampak)” Dari Sebuah Proyek
By: Gemma Burford, Ismael Velasco, Svatava Janousˇkova´, Martin Zahradnik, Tomas Hak, Dimity Podger, Georgia Piggot, Marie K. Harder
Pendekatan evaluasi dan strategi untuk mendesain sebuah alat yang dapat
digunakan oleh banyak LSM dalam menilai ketidak jelasan sebelumnya, nilai-nilai
aspek yang relatif dari proyek dan aktivitas mereka. Alat ini, yang kita telah
kita beri nama “WeValue” yang terdiri
dari serangkaian referensi 166 berbasis nilai indikator, bersama dengan
permintaan bimbingan mereka. Indikator-indikator diwakili dalam sebuah format
“menu” dimana fasilitas dengan benar digunakan LSM untuk mengidentifikasi dan
memperoleh bentuk yang jelas apa yang tidak jelas sangatlah penting bagi mereka
dan itu yang mereka harapkan untuk dievaluasi. “menu’ kedua yang disediakan
untuk metode penilaian yang potensial berguna dibarengi oleh catatan pembimbing
yang rinci. Dalam penilitian ini, kami melaporkan uji lapangan dai alat WeValue
dengan tiga LSM dan setelah itu didiskusikan kekhususan mereka dalam luasnya
disiplin dari monitoring dan evaluai.
Overview
Alat WeValue dapat digunakan oleh organisasi untuk mengukur proses dan
hasil nilai relatif yang dimiliki himpunan anggota LSM secara bersama-sama
memilih dasar nilai indikator yang relevan untuk menggunakan dari 166 item
daftar referensi dari WeValue. Alat WeValuae memiliki tiga elemen yang terpisah
untuk dievaluasi, yaitu indikator, alat penilaian potensi dan proses yang
terlibat. Tujuannya adalah untuk menentukan kegunaan keseluruhan dari selruh
alat untuk sampel yang lebih besar dari LSM mitra luar yang terlibat.
Maksud dan tujuan
Tujuan dari alat evaluasi adalah
untuk menentukan apakah alat WeValue dapat menilai proses nilai-nilai relatif
dan hasil pada peringkat dari LSM. Tujuan khusus adalah :
Ø Menentukan apakah indikator WeValue adalah cocok dengan LSM sebagai yang
relevan dengan kerja mereka.
Ø Untuk menentukan apakah partisipasi LSM mencari indikator yang berguna
dalam evaluasi lokal mereka sendiri.
Ø Untuk mengadakan penyelidikan apakah indikator yang mampu menyediakan
penilaian pengaturan LSM, misalnya apakah alat peilaian yang tepat sebenarnya
dapat dikembangkan dan dilaksanakan untuk menghasilkan kegunaan data yang
berlawanan dengan indikator itu.
Ø Untuk menentukan apakah data yang dihasilkan memiiki validitas yang
memadai, yang relevan saat ini, berarti dan berguna untuk LSM.
Ø Untuk mengidentifikasi apakah salah satu perubahan utama sikap yang terjadi
untuk para LSM karena penerapan WeValue.
Metode
Uji lapangan dari alat WeValue ini
dilakukan di tiga organisasi. Metodologi dari alat ini berisi 5 proses
partisipasi, yang dilakukan setiap kasusnya :
1)
Menentukan indikator WeValue dalam daftar referensi yang umumnya berkaitan
dengan LSM
2)
Pengelokasian susunan kata indikator
yang spesifik dengan konteks LSM, dan memilih sebuah daftar pendek yang LSM
dapat menjadi penilaian dalam evaluasi lokal yang spesifik tersebut.
3)
Pemilihan metodologi yang tepat dari
“menu” WeValue dan pengembangan alat penilaian yang sebanding terkait dengan
kegiatan yang ada dalam aktivitas LSM.
4)
Pengumpulan data biasa dipimpin oleh
staff LSM
5)
Analisis data lokal dan refleksi
LSM, untuk memeriksa apakah percobaan dapat diambil dari data yang dikembangkan
denan alat WeValue.
Analisis
Data
Dalam
masing masing bidang studi individu,
analisis data lokal dilakukan bersama oleh semua rekan evaluator. ini mencakup memeriksa data lokal dalam
pertanyaan evaluasi kekhusussan LSM, yang mana berkaitan dengan hasil proyek di
keduanya proses evaluasi dan implementasi program ketiga. Dimanapun LSM ingin
pengujian ketat indikator tertentu, beberapa bukti yang berasal dari alat
penilaian tertentu. Namun, tingkat memahitkan tidak selalu diperlukan, juga
diandang perlu, seperti pemandu utama untuk pemanfaatan LSM.
Pada bidang studi, evaluasi secara
keseluruhan dari alat WeValue beberapa
dilakukan melalui beberapa dan diskusi berulang – ulang antara peneliti
universitas dan juga seluruh konsorsium proyek.
Relevansi Indikator WeValue untuk
partisipasi LSM
Pendorong utama untuk mengembangkan alat evaluasi
yang baru adalah kebutuhan LSM dinyatakan untuk satu yang dapat mengukur nilai-nilai
berbasis dimensi. Partisipasi LSM bermakna sangat penting dalam evaluasi
tersebut jika secara khusus 'berwujud' memerlukan penilaian
diidentifikasi dengan benar. Secara khusus, Daigneault dan Yakub (2009)
mengamati bahwa dimensi yang penting partisipatif evaluasi adalah sejauh mana
stakeholder (misalnya, pembuat kebijakan, pelaksana proyek dan penerima
manfaat) terlibat dalam memilih pertanyaan dan masalah evaluasi. Springett
(2001) telah menekankan bahwa evaluasi partisipatif yang benar membutuhkan
pemangku kepentingan untuk mengembangkan sendiri indikator keberhasilan dari
awal. Pendekatan baru kami telah menggunakan 'menu' indikator yang sebanding
yang dapat digunakan untuk mempercepat pembangunan indikator di
organisasi-organisasi serupa. Ini dikembangkan oleh konsorsium project ESDinds,
dan relevansi mereka untuk mereka sendiri, bergabung atau tidak bergabung diperlukan mengevaluasi
LSM.
Alat dan metode Penilaian
Untuk setiap indikator lokal yang dipilih untuk
digunakan dalam studi ini, itu adalah mungkin untuk mengembangkan penilaian
yang sukses setidaknya satu alat yang dapat digunakan untuk mengumpulkan data
yang relevan. Semua peserta LSM memilih untuk memanfaatkan campuran metode
kualitatif dan kuantitatif dalam evaluasi lokal mereka, dan dalam beberapa
kasus, kedua jenis metode yang digunakan untuk mengukur indikator yang tunggal.
Pendekatan ini didorong (tidak dipungut), sebagai konvergensi dari hasil
pengukuran berbeda adalah indikasi yang kuat validitas. Bahkan ketika penilaian
individu 'itulah sempurna', mereka masih dapat dihitung untuk menghasilkan
kesimpulan yang sah, asalkan mereka kongruen dalam temuan mereka tetapi berbeda
dalam kekurangan mereka. Hasil uji lapangan WeValue mengkonfirmasi beberapa
keuntungan yang dilaporkan sebelumnya dicampur-metode evaluasi. Onwuegbuzie et
al. (2007) merujuk, sebagai contoh, '' kelemahan minimalisasi legitimasi'', sebuah
skenario di mana kelemahan satu pendekatan dikompensasi oleh kekuatan lain;
Sementara Bouffard, Taxman dan Silverman (2003) telah mengamati bahwa
menggabungkan metode menghasilkan pemahaman yang lebih kaya dari proses dan
meningkatkan manfaat dari proses evaluasi kepada pemangku kepentingan. Dari
ketiga studi kasus kami, hasil
kuantitatif, yang menunjukkan gambaran besar tetapi disediakan hanya jawaban
dangkal atas pertanyaan LSM, yang dilengkapi dengan data kualitatif yang kaya
yang diisi dalam rincian mengapa responden merasa atau berperilaku dengan cara
yang mereka lakukan. Hal ini memungkinkan kekuatan, kelemahan, peluang dan
ancaman untuk jelas diidentifikasi dan diselesaikan:
1)
Pada lokakarya
PIMAUG, survei spasial dan fisik (kuantitatif) mengungkapkan bahwa mayoritas
peserta merasa diberdayakan, focus group (kualitatif) disorot banyak juga
kurangnya kesadaran tentang bagaimana menerjemahkan antusiasme mereka dan
motivasi ke tindakan praktis yang efektif. Dalam lokakarya berikutnya PIMAUG
telah menawarkan menu' tertentu peluang relawan.
2)
Dalam proyek
SLRCS, pengamatan terstruktur (kuantitatif) diperbolehkan fasilitator untuk
menghitung berapa banyak individu yang memonopoli diskusi atau yang pasif,
sementara tindak lanjut wawancara (kualitatif) memberikan wawasan alasan bagi
keengganan untuk berpartisipasi. Hal ini memungkinkan identifikasi dari
tindakan efektif dukungan di masa depan.
3)
Di PT,
pengamatan dan penilaian terstrktur perilaku interpersonal diri (kuantitatif),
memberikan jumlah pemuda yang merasa bahwa mereka dipamerkan tertentu perilaku
'positif' dan 'negatif' dibandingkan mereka yang benar-benar dipamerkan mereka.
Dialog lanjutan (kualitatif) menciptakan peluang-peluang baru untuk percakapan
bermakna antara staf dan pemuda-'bagaimana Anda melihat diri sendiri' vs 'bagaimana kita melihat Anda'. Hasil ini,
diambil bersama-sama, membantu staf untuk mengidentifikasi cara mendukung
individu-individu yang lebih efektif untuk memenuhi potensi mereka
Kesesuaian untuk tujuan
Ketegangan antara mengejar ilmiah kekakuan dan
fleksibel untuk berbagai kebutuhan dan harapan, dilaporkan dalam literatur
penelitian tindakan (Peterson, 2010), para peserta yang tersisa sangat relevan
dengan evaluasi. Penekanan berlebihan pada beberapa metode penilaian dan
cross-cek sistematis, terutama bila dipaksakan oleh evaluator eksternal atau
peneliti, bisa meyakinkan staf LSM yang pendekatan seperti WeValue permintaan
tidak praktis tingkat investasi waktu dan sumber daya. Kontribusi yang berguna
untuk perdebatan ini telah dibuat, namun, oleh Cox et al. (2007) dengan konsep
'kebugaran untuk tujuan'. Penelitian yang cocok untuk tujuan, mereka
menegaskan, membahas masalah yang penting bagi masyarakat; telah jelas tujuan
ditetapkan dan pertanyaan penelitian; dan memanfaatkan secara teoritis dan metode etis yang sah yang dapat menjawab
pertanyaan penelitian dan memenuhi tujuan dari penelitian. Dalam
sebuah LSM, mungkin ada beberapa tujuan untuk melakukan pemantauan dan
evaluasi, berpotensi menuju pengembangan sistem paralel. Di satu sisi,
pengumpulan data skala kecil dan analisis bisa dimasukan kedalam kegiatan
proyek yang sedang berlangsung (seperti dalam contoh PIMAUG) untuk meningkatkan
efektivitas mereka tanpa komitmen besar sumber daya; Sementara itu, di sisi
lain, evaluasi eksternal ketat dengan indikator WeValue dapat dilakukan pada
tahap utama dalam siklus hidup proyek untuk memberikan pertanggungjawaban
kepada donor dan publik.
Kesimpulan
Alat WeValue dengan komponennya
asli telah ditunjukkan untuk mengisi kesenjangan yang dikenal dalam metode
evaluasi dengan membuat hasil berbasis nilai sebelumnya 'tidak berwujud' nyata.
Ini telah berhasil digunakan untuk evaluasi lokal oleh berbagai LSM dan
bermanfaat dalam konteks berbeda evaluasi-dari menilai hasil yang berkaitan
dengan nilai-nilai lokakarya hanya beberapa jam dalam durasi, untuk pemantauan
hubungan interpersonal dan pelaksanaan proses dalam proyek-proyek jangka
panjang. Kami menyarankan bahwa kekuatan pendekatan WeValue, dan kunci untuk
penerapannya yang luar biasa, terletak pada kenyataan bahwa itu terstruktur dan
localisable. Dengan menyediakan kerangka indikator yang memungkinkan lokalisasi
untuk konteks tertentu, itu memunculkan baik keterlibatan dan partisipasi, dan
dengan demikian kepemilikan dan pemanfaatan hasil evaluasi. Namun, hasil dari
indikator yang diberikan pada daftar dapat dibandingkan di seluruh organisasi
(meskipun dengan beberapa normalisasi). WeValue dengan demikian menyediakan
jembatan antara 'partisipatif' dan 'konvensional' evaluasi.
Dari ketiga uji coba
lapangan yang disajikan di sini, LSM
melaporkan bahwa evaluasi retuned informasi penggunaan, relevansi dan
makna mereka. Mereka tidak merasa bahwa kerangka dikenakan eksternal nilai,
tetapi sebaliknya, itu memfasilitasi evaluasi mereka sendiri. Ini adalah
prestasi yang sukar dipahami berdasarkan evaluai LSM. Informasi yang diperoleh
dalam setiap kasus adalah penggunaan yang signifikan dan menarik bagi pemangku
kepentingan yang lebih luas, memberikan kosa kata baru untuk memungkinkan
pengembangan bersama.
Alat WeValue dengan komponen ide barunya dengan demikian mewakili alat
evaluasi 'generasi baru' yang menggunakan ide-ide baru kunci dalam
partisipatif, berfokus pada pemanfaatan dan berbasis proses evaluasi, sendiri
yang dibingkai melalui lensa nilai-nilai yang kompatibel dengan karya
organisasi masyarakat sipil dan organisasi lainnya berbasis nilai-nilai. Dengan
demikian alat menunjukkan janji untuk digunakan dengan sangat berbagai
organisasi termasuk lembaga pendidikan, penyedia layanan kesehatan, Universitas
dan bisnis, apakah atau tidak mereka memiliki komitmen eksplisit untuk
nilai-nilai yang lebih tinggi. Namun, set baru indikator mungkin perlu
dihasilkan rekan untuk masing-masing sektor.
Pendekatan ini asli memiliki kontribusi untuk membuat dalam
perdebatan-perdebatan yang saat ini dalam nilai-nilai lingkungan, pendidikan
lingkungan dan indikator pembangunan berkelanjutan dimana kesulitan dalam
crystallising dan mengukur konsep-konsep yang berbasis nilai-nilai dalam
konteks yang berbeda dan kelompok kunci yang menarik. Alat yang dijelaskan
dalam makalah ini dapat diakses di www.wevalue.org online platform, yang
menyediakan studi kasus, pedoman dan rincian kontak untuk berpengalaman WeValue
evaluator. 'Perpustakaan' dari alat penilaian, dan berbagai paket pelatihan
evaluator dan staf LSM, saat ini sedang dikembangkan.
TTD; Ely Goro Leba. FISIPOL UGM
SUmber: Gemma Burford, Ismael Velasco, Svatava Janousˇkova´, Martin Zahradnik, Tomas Hak, Dimity Podger, Georgia Piggot, Marie K. Harder