Kako „razmišljaju“ veliki jezični modeli i možemo li im vjerovati: studija slučaja testiranja ChatGPT-a na zadacima uvodnog statističkog kolegija
Cilj rada je pokušati, u kontekstu testiranja modela ChatGPT na studentskim zadacima iz područja statistike, prepoznati slučajeve u kojima veliki jezični modeli pokazuju slično ponašanje ljudskom razmišljanju, a u kojima „razmišljaju“ na drugačiji način te identificirati prilike, rizike i ograničenj...
| Main Author: | |
|---|---|
| Format: | Article |
| Language: | English |
| Published: |
University of Rijeka
2023-01-01
|
| Series: | Politehnika |
| Subjects: | |
| Online Access: | https://hrcak.srce.hr/file/449948 |
| _version_ | 1797206262174187520 |
|---|---|
| author | Jasminka Dobša |
| author_facet | Jasminka Dobša |
| author_sort | Jasminka Dobša |
| collection | DOAJ |
| description | Cilj rada je pokušati, u kontekstu testiranja modela ChatGPT na studentskim zadacima iz područja statistike, prepoznati slučajeve u kojima veliki jezični modeli pokazuju slično ponašanje ljudskom razmišljanju, a u kojima „razmišljaju“ na drugačiji način te identificirati prilike, rizike i ograničenja kod primjene umjetne inteligencije u nastavi. Analizirat će se mogućnosti i ograničenja velikih jezičnih modela te načini na koje se u ovom brzo rastućem području nastoji nadići postojeće pristranosti i nedostatke. U radu će se testirati chatbot na temelju velikoga jezičnoga modela GPT-4 ChatGPT u znanju uvodnog statističkog kolegija koji se predaje na drugoj godini studija studentima informatičkog studija. Testiranje je provedeno ručnim unošenjem 170 kviz pitanja iz područja statistike u preglednik ChatGPT-a. Pitanja su podijeljena u tri kategorije: teorijska pitanja u kojim se reproducira znanje, teorijska pitanja u kojim se testira razumijevanje područja i zadaci. Kviz pitanja su postavljena na hrvatskom jeziku i analizirani su odgovori dobiveni na hrvatskom jeziku. Uspoređena je točnost rješavanja kviz pitanja za studente i ChatGPT po kategorijama pitanja korištenjem Wilcoxonovog testa sume rangova. Rezultati pokazuju da ChatGPT daje statistički bolje rezultate od studenata u kategorijama teorijskih pitanja u kojima se traži reprodukcija znanja i razumijevanje, dok su kod rješavanja zadataka studenti uspješniji, ali razlika u točnosti nije statistički značajna (p<0,01). |
| first_indexed | 2024-04-24T09:04:13Z |
| format | Article |
| id | doaj.art-ac0c991b116b428a95cd864d56907d6b |
| institution | Directory Open Access Journal |
| issn | 2584-5373 2584-6264 |
| language | English |
| last_indexed | 2024-04-24T09:04:13Z |
| publishDate | 2023-01-01 |
| publisher | University of Rijeka |
| record_format | Article |
| series | Politehnika |
| spelling | doaj.art-ac0c991b116b428a95cd864d56907d6b2024-04-15T19:09:30ZengUniversity of RijekaPolitehnika2584-53732584-62642023-01-0172182510.36978/cte.7.2.2Kako „razmišljaju“ veliki jezični modeli i možemo li im vjerovati: studija slučaja testiranja ChatGPT-a na zadacima uvodnog statističkog kolegijaJasminka Dobša0Faculty of Organization and Informatics, Varaždin, CroatiaCilj rada je pokušati, u kontekstu testiranja modela ChatGPT na studentskim zadacima iz područja statistike, prepoznati slučajeve u kojima veliki jezični modeli pokazuju slično ponašanje ljudskom razmišljanju, a u kojima „razmišljaju“ na drugačiji način te identificirati prilike, rizike i ograničenja kod primjene umjetne inteligencije u nastavi. Analizirat će se mogućnosti i ograničenja velikih jezičnih modela te načini na koje se u ovom brzo rastućem području nastoji nadići postojeće pristranosti i nedostatke. U radu će se testirati chatbot na temelju velikoga jezičnoga modela GPT-4 ChatGPT u znanju uvodnog statističkog kolegija koji se predaje na drugoj godini studija studentima informatičkog studija. Testiranje je provedeno ručnim unošenjem 170 kviz pitanja iz područja statistike u preglednik ChatGPT-a. Pitanja su podijeljena u tri kategorije: teorijska pitanja u kojim se reproducira znanje, teorijska pitanja u kojim se testira razumijevanje područja i zadaci. Kviz pitanja su postavljena na hrvatskom jeziku i analizirani su odgovori dobiveni na hrvatskom jeziku. Uspoređena je točnost rješavanja kviz pitanja za studente i ChatGPT po kategorijama pitanja korištenjem Wilcoxonovog testa sume rangova. Rezultati pokazuju da ChatGPT daje statistički bolje rezultate od studenata u kategorijama teorijskih pitanja u kojima se traži reprodukcija znanja i razumijevanje, dok su kod rješavanja zadataka studenti uspješniji, ali razlika u točnosti nije statistički značajna (p<0,01).https://hrcak.srce.hr/file/449948veliki jezični modeliChatGPTstatistikatestiranjehrvatski jezik |
| spellingShingle | Jasminka Dobša Kako „razmišljaju“ veliki jezični modeli i možemo li im vjerovati: studija slučaja testiranja ChatGPT-a na zadacima uvodnog statističkog kolegija Politehnika veliki jezični modeli ChatGPT statistika testiranje hrvatski jezik |
| title | Kako „razmišljaju“ veliki jezični modeli i možemo li im vjerovati: studija slučaja testiranja ChatGPT-a na zadacima uvodnog statističkog kolegija |
| title_full | Kako „razmišljaju“ veliki jezični modeli i možemo li im vjerovati: studija slučaja testiranja ChatGPT-a na zadacima uvodnog statističkog kolegija |
| title_fullStr | Kako „razmišljaju“ veliki jezični modeli i možemo li im vjerovati: studija slučaja testiranja ChatGPT-a na zadacima uvodnog statističkog kolegija |
| title_full_unstemmed | Kako „razmišljaju“ veliki jezični modeli i možemo li im vjerovati: studija slučaja testiranja ChatGPT-a na zadacima uvodnog statističkog kolegija |
| title_short | Kako „razmišljaju“ veliki jezični modeli i možemo li im vjerovati: studija slučaja testiranja ChatGPT-a na zadacima uvodnog statističkog kolegija |
| title_sort | kako razmisljaju veliki jezicni modeli i mozemo li im vjerovati studija slucaja testiranja chatgpt a na zadacima uvodnog statistickog kolegija |
| topic | veliki jezični modeli ChatGPT statistika testiranje hrvatski jezik |
| url | https://hrcak.srce.hr/file/449948 |
| work_keys_str_mv | AT jasminkadobsa kakorazmisljajuvelikijezicnimodeliimozemoliimvjerovatistudijaslucajatestiranjachatgptanazadacimauvodnogstatistickogkolegija |