Yazılı Sınavlar için Yapay Zekâ Destekli Web Tabanlı Ön Değerlendirme Sistemi Tasarımı: Rusça Dil Sınavları Örneği

Creative Commons License

Kara C.

ULUSLARARASI ÖLÇME, SEÇME VE YERLEŞTİRME SEMPOZYUMU, Ankara, Türkiye, 4 - 06 Ekim 2024, ss.154-155

  • Yayın Türü: Bildiri / Özet Bildiri
  • Basıldığı Şehir: Ankara
  • Basıldığı Ülke: Türkiye
  • Sayfa Sayıları: ss.154-155
  • Anadolu Üniversitesi Adresli: Evet

Özet

Yazılı sınavların değerlendirilmesi, öğretim elemanları için zaman alıcı ve yoğun emek gerektiren bir süreç olabilmektedir (Jauhiainen & Guerra, 2024). Özellikle yabancı dil eğitiminde, Rusça gibi karmaşık dil yapılarına sahip dillerde, bu zorluk daha da belirgindir. Bu çalışmanın amacı, yazılı sınavların değerlendirilmesinde öğretim elemanlarına yardımcı olacak, yapay zekâ destekli web tabanlı bir ön değerlendirme sistemi tasarlamaktır.

Sistemin teknik altyapısı şu şekildedir: Önerilen sistem, PHP ve MySQL tabanlı bir web sunucusu üzerine kurulmuştur. Kullanıcı arayüzü HTML, CSS ve JavaScript kullanılarak geliştirilmiştir. Uzun metinler üzerinde ücretsiz olarak yapay zekâ işlemleri gerçekleştirmek için Gemini API (Google, 2024) tercih edilmiştir. Sistemde, JavaScript Fetch API kullanılarak asenkron HTTP istekleri yapılmaktadır. Bu istekler, PHP’ye yönlendirilerek veritabanı işlemleri ve Gemini API çağrıları sunucu tarafında gerçekleştirilmektedir.

Sistemin çalışma prensibinin özeti şu şekildedir: Öğretim elemanı tarafından sınav soruları, yanıtları ve değerlendirme kriterleri sisteme tanımlanır. Ardından öğrenci sınav kâğıdı taranarak görsel formatında sisteme yüklenir. Yüklenen görseller Gemini API ile metne dönüştürülerek öğrenci sınav kâğıdı dijital olarak oluşturulur. Yapay zekâ, öğrenci yanıtlarını analiz ederek her soru için gerekçeleriyle birlikte bir puanlama yapar. Bu şekilde sistem, öğretim elemanına detaylı bir ön değerlendirme raporu sunar ve nihai puanlamaya olanak tanır.

Bu sistemin uygulanmasıyla, yazılı sınavların değerlendirilme sürecinin önemli ölçüde hızlanması beklenmektedir. Rusça dil sınavları özelinde, dilin karmaşık yapılarının daha tutarlı ve hızlı bir şekilde değerlendirilmesi mümkün olabilir. Öğretim elemanlarının değerlendirme için harcadıkları zamanın azalması, daha detaylı geri bildirim verebilmelerine olanak sağlayabilir.

Anahtar Kelimeler: Yapay zekâ, yazılı sınavlar, ölçme ve değerlendirme, Rusça dil sınavları

Kaynakça

Jauhiainen, J. S. & Guerra, A. G. (2024). Evaluating students' open-ended written responses with LLMs: Using the RAG framework for GPT-3.5, GPT-4, Claude-3, and Mistral-Large. arXiv. https://doi.org/10.48550/arXiv.2405.05444

Google. (2024). Gemini API. Google for Developers. https://ai.google.dev/gemini-api/docs/models/gemini?hl=tr (Erişim Tarihi: 25 Temmuz 2024) 


The evaluation of written exams can be a time-consuming and labor-intensive process for instructors (Jauhiainen & Guerra, 2024). This challenge is particularly pronounced in foreign language education, especially in languages with complex structures like Russian. The aim of this study is to design an AI-supported web-based pre-assessment system to assist instructors in evaluating written exams.

The technical infrastructure of the system is as follows: The proposed system is built on a PHP and MySQL-based web server. The user interface is developed using HTML, CSS, and JavaScript. Google’s Gemini API (Google, 2024) is chosen to perform AI operations on long texts free of charge. The system uses JavaScript Fetch API to make asynchronous HTTP requests. These requests are directed to PHP, where database operations and Gemini API calls are performed server-side.

The summary of the system’s working principle is as follows: The instructor defines exam questions, answers, and evaluation criteria in the system. Then, student’s exam paper is scanned and uploaded to the system in image format. The uploaded images are converted to text using the Gemini API, and the student exam paper is created digitally. AI analyzes student responses and scores each question with justifications. In this way, the system presents a detailed pre-assessment report to the instructor and allows for final scoring.

With the implementation of this system, it is expected that the evaluation process of written exams will be significantly accelerated. Specifically for Russian language exams, it may be possible to evaluate the complex structures of the language more consistently and quickly. The reduction in time spent by instructors on assessment may allow them to provide more detailed feedback.

Keywords: Artificial intelligence, written exams, assessment and evaluation, Russian language exams

Reference

Jauhiainen, J. S. & Guerra, A. G. (2024). Evaluating students' open-ended written responses with LLMs: Using the RAG framework for GPT-3.5, GPT-4, Claude-3, and Mistral-Large. arXiv. https://doi.org/10.48550/arXiv.2405.05444

Google. (2024). Gemini API. Google for Developers. https://ai.google.dev/gemini-api/docs/models/gemini?hl=en (Retrieved July 25, 2024)