Rubrik Penilaian untuk AI Grading: Panduan Guru dan Dosen
Sebelum Memakai AI untuk Menilai, Rapikan Rubriknya Dulu
Tumpukan tugas belum selesai dikoreksi, sementara tenggat pengumpulan nilai semakin dekat. Anda ingin mempercepat koreksi, tetapi setiap jawaban tetap perlu mendapat perhatian. Di eJourney, kami membantu proses ini melalui AI grading yang disesuaikan dengan rubrik penilaian institusi Anda.
Bayangkan sebuah rubrik yang hanya memuat kategori “sangat baik”, “baik”, dan “cukup”. Pengajar masih harus menafsirkan sendiri arti setiap kategori. Ketika rubrik itu dipakai untuk penilaian berbantuan AI, standar yang belum tertulis juga belum memiliki acuan yang jelas untuk diperiksa.
Karena itu, kami menyarankan Anda mulai dari rubriknya. Tentukan apa yang dinilai, seperti apa bukti pencapaiannya, dan bagaimana hasil koreksi akan ditinjau. Dalam panduan ini, kami mengajak Anda merapikan satu rubrik, mencoba contoh penilaian esai, lalu menyiapkan uji coba untuk tugas di kelas Anda.
Apa yang perlu ada dalam rubrik penilaian?
Rubrik penilaian membantu Anda menjelaskan aspek yang dinilai dan standar pencapaian untuk setiap aspek. Saat memeriksanya, pastikan ada tiga unsur: kriteria, deskripsi kualitas, dan tingkat penguasaan. Ketiganya juga menjadi unsur utama dalam panduan rubrik Carnegie Mellon University.
Untuk tugas esai, misalnya, “ketepatan konsep” dapat menjadi satu kriteria. Deskripsinya perlu menjelaskan perbedaan antara jawaban yang menerapkan konsep dengan benar, jawaban yang hanya menyebut istilah, dan jawaban yang salah memahami konsep.
Jika menggunakan bobot, tentukan besarnya kontribusi setiap kriteria terhadap nilai akhir. Untuk tugas analisis, Anda dapat memberi porsi lebih besar pada penalaran daripada tata tulis. Sesuaikan keputusan tersebut dengan tujuan tugas, lalu sampaikan rubrik sebelum siswa atau mahasiswa mulai mengerjakannya.
Cara membuat kriteria penilaian yang lebih jelas
Mari mulai dari satu tugas yang akan Anda berikan di kelas. Tuliskan kemampuan yang ingin Anda lihat dalam jawaban siswa atau mahasiswa.
Contohnya, tujuan tugas adalah menjelaskan penyebab suatu masalah berdasarkan bahan bacaan. Dari tujuan itu, Anda dapat menilai ketepatan konsep, penggunaan bukti, dan hubungan antara bukti dengan kesimpulan.
Kemudian, periksa kata-kata yang masih membutuhkan tafsir. “Analisis mendalam” terdengar meyakinkan, tetapi belum menjelaskan apa yang harus muncul dalam jawaban. Ubah menjadi deskripsi yang bisa ditunjuk buktinya, seperti “menjelaskan hubungan sebab-akibat dan membahas satu penjelasan alternatif”.
Perhatikan juga kriteria yang tumpang tindih. Jika “kualitas argumentasi” dan “kedalaman analisis” menilai hal yang sama, satu kelemahan berpotensi mengurangi skor dua kali. Gabungkan keduanya atau jelaskan batas masing-masing.
Jika Anda menggunakan alat AI untuk menyiapkan draf rubrik, sertakan konteks tugas, skala, dan kriteria yang ingin dinilai. Alur penyusunan dan penyuntingan seperti ini juga tersedia dalam panduan Microsoft tentang rubrik dengan AI.
Saran kami, baca ulang setiap deskripsi sebelum memakai draf tersebut. Pastikan perbedaan antartingkat benar-benar mencerminkan kemampuan yang ingin Anda ukur.
Contoh rubrik penilaian esai untuk uji coba AI grading
Kami menyiapkan contoh yang bisa Anda adaptasi untuk tugas: “Jelaskan penyebab masalah dalam sebuah studi kasus menggunakan konsep dan bukti dari bahan bacaan.” Rubrik ini memakai tiga kriteria dengan bobot setara dan skor 0–3. Sesuaikan dengan mata pelajaran, jenjang, dan tujuan pembelajaran Anda.
Skor maksimum contoh ini adalah 9. Jika dikonversi ke skala 100, gunakan rumus skor yang diperoleh ÷ 9 × 100. Tentukan aturan pembulatan sebelum penilaian dimulai.
Sebagai ilustrasi, bayangkan sebuah jawaban memperoleh skor 3 untuk konsep, 2 untuk bukti, dan 1 untuk penalaran. Totalnya 6 dari 9, atau 66,7 jika dibulatkan satu angka desimal. Rincian ini membantu Anda melihat bagian yang sudah dikuasai dan bagian yang masih perlu diperbaiki.
Tentukan pula penanganan kasus khusus. Berkas yang tidak terbaca perlu diperiksa kembali, bukan langsung dianggap sebagai jawaban tanpa bukti. Sementara itu, respons yang memakai pendekatan berbeda tetap perlu ditinjau berdasarkan kualitas penalarannya.
Uji hasil penilaian AI sebelum digunakan lebih luas
Setelah rubrik siap, kami menyarankan uji coba terbatas agar Anda dapat memeriksa penerapan setiap kriterianya. Berikut langkah yang bisa Anda sesuaikan dengan kebijakan institusi.
1. Pilih contoh jawaban yang beragam. Sertakan jawaban kuat, jawaban yang belum lengkap, dan jawaban yang berada di antara dua tingkat skor. Gunakan data yang diizinkan institusi dan hilangkan identitas yang tidak diperlukan.
2. Siapkan penilaian acuan dari pengajar. Catat skor setiap kriteria beserta alasan pemberiannya. Jika melibatkan lebih dari satu pengajar, bahas perbedaan penafsiran terlebih dahulu.
3. Bandingkan hasil per kriteria. Jangan berhenti pada nilai total. Dua hasil dengan total sama bisa memiliki perbedaan pada konsep, bukti, atau penalaran.
4. Telusuri penyebab selisih. Periksa apakah deskripsi rubrik terlalu luas, bagian jawaban tidak terbaca, atau alasan pemberian skor tidak sesuai isi tugas.
5. Perbaiki dan uji dengan contoh lain. Hindari menyesuaikan rubrik hanya agar cocok dengan satu jawaban. Simpan versi rubrik dan aturan penilaian yang akhirnya digunakan.
Sebelum memperluas pemakaian, sepakati siapa yang meninjau hasil dan jenis perbedaan yang wajib diperiksa. Catat juga waktu untuk menyiapkan berkas, memeriksa hasil, dan melakukan revisi. Dengan begitu, Anda dapat menilai berapa banyak waktu yang terbantu dan bagian mana yang masih membutuhkan perhatian.
Siapkan penilaian berbasis rubrik bersama eJourney
Melalui AI Grading eJourney, kami membantu Anda menilai tugas menggunakan rubrik yang disesuaikan dengan kebutuhan institusi. Dukungan inti kami mencakup PDF teks dan gambar tulisan tangan melalui OCR, yaitu teknologi pengenalan teks dari gambar atau tulisan tangan. Untuk tugas audio, video, atau format khusus, kami akan membahas dukungannya sesuai kebutuhan Anda.
Target penghematan waktu kami tetapkan bersama Anda saat uji coba atau tahap awal implementasi. Hasilnya bergantung pada jenis tugas, kualitas rubrik, dan proses peninjauan di institusi Anda. Bawa contoh tugas dan rubrik yang sudah digunakan agar pembahasannya berangkat dari kebutuhan kelas Anda.
Bagi Anda yang sedang menyiapkan pembelajaran digital di perguruan tinggi, kami juga dapat membahas kebutuhan penilaian dalam konteks sistem yang sudah digunakan. Kita dapat mulai dari format tugas, hasil yang dibutuhkan, dan proses peninjauannya. Jika Anda ingin menghubungkannya dengan LMS kampus, kami akan mengevaluasi cakupan integrasinya terlebih dahulu.
Tugas mana yang paling menyita waktu koreksi Anda? Siapkan rubrik dan contoh jawabannya, lalu jadwalkan diskusi bersama kami. Mari bahas bagaimana AI grading dapat membantu proses penilaian di institusi Anda.