Spremljevalni korpus Trendi in avtomatska kategorizacija
Prispevek predstavlja izdelavo korpusa Trendi, prvega spremljevalnega korpusa za slovenščino. Trenutna različica Trendi 2023-02 pokriva besedila od januarja 2019 do konca februarja 2023, vsebuje pa že več kot 700 milijonov pojavnic oz. več kot 586 milijonov besed. Namen korpusa je, da tako strokovn...
| Main Authors: | , , , , |
|---|---|
| Format: | Article |
| Language: | English |
| Published: |
University of Ljubljana Press (Založba Univerze v Ljubljani)
2023-09-01
|
| Series: | Slovenščina 2.0: Empirične, aplikativne in interdisciplinarne raziskave |
| Subjects: | |
| Online Access: | https://journals-test.uni-lj.si/slovenscina2/article/view/12073 |
| _version_ | 1797234734466596864 |
|---|---|
| author | Iztok Kosem Jaka Čibej Kaja Dobrovoljc Taja Kuzman Nikola Ljubešić |
| author_facet | Iztok Kosem Jaka Čibej Kaja Dobrovoljc Taja Kuzman Nikola Ljubešić |
| author_sort | Iztok Kosem |
| collection | DOAJ |
| description |
Prispevek predstavlja izdelavo korpusa Trendi, prvega spremljevalnega korpusa za slovenščino. Trenutna različica Trendi 2023-02 pokriva besedila od januarja 2019 do konca februarja 2023, vsebuje pa že več kot 700 milijonov pojavnic oz. več kot 586 milijonov besed. Namen korpusa je, da tako strokovni kot nestrokovni javnosti ponudi podatke o aktualni jezikovni rabi in omogoči spremljanje pojavljanja novih besed ter upadanja ali naraščanja rabe že obstoječih. Poleg same vsebine predstavimo tudi metodologijo in načela izdelave korpusa. Drugi del prispevka opisuje razvoj algoritma za avtomatsko kategorizacijo besedil z novičarskih portalov, ki je bil pripravljen za potrebe korpusa Trendi in tudi drugih korpusov s tovrstnimi besedili. Za namene algoritma je bil izdelan nabor 13 tematskih kategorij, ki so v veliki meri prekrivne z mednarodnimi standardi in kategorijami v primerljivih korpusih drugih jezikov. Na besedilih, označenih s kategorijami, smo naučili več različnih jezikovnih modelov in z najprimernejšim dosegli visoko zanesljivost določevanja tematike besedilom.
|
| first_indexed | 2024-04-24T16:36:46Z |
| format | Article |
| id | doaj.art-0519d235636940b2a6318abfdf126563 |
| institution | Directory Open Access Journal |
| issn | 2335-2736 |
| language | English |
| last_indexed | 2024-04-24T16:36:46Z |
| publishDate | 2023-09-01 |
| publisher | University of Ljubljana Press (Založba Univerze v Ljubljani) |
| record_format | Article |
| series | Slovenščina 2.0: Empirične, aplikativne in interdisciplinarne raziskave |
| spelling | doaj.art-0519d235636940b2a6318abfdf1265632024-03-29T13:42:55ZengUniversity of Ljubljana Press (Založba Univerze v Ljubljani)Slovenščina 2.0: Empirične, aplikativne in interdisciplinarne raziskave2335-27362023-09-0111110.4312/slo2.0.2023.1.161-188Spremljevalni korpus Trendi in avtomatska kategorizacijaIztok Kosem0Jaka Čibej1Kaja Dobrovoljc2Taja Kuzman3Nikola Ljubešić4Univerza v Ljubljani, Filozofska fakulteta; Institut Jožef Stefan, Ljubljana; Univerza v Ljubljani, Fakulteta za računalništvo in informatikoInstitut Jožef Stefan, Ljubljana; Univerza v Ljubljani, Filozofska fakultetaUniverza v Ljubljani, Filozofska fakulteta; Institut Jožef Stefan, LjubljanaInstitut Jožef Stefan, LjubljanaInstitut Jožef Stefan, Ljubljana; Univerza v Ljubljani, Fakulteta za računalništvo in informatiko; Inštitut za novejšo zgodovino, Ljubljana Prispevek predstavlja izdelavo korpusa Trendi, prvega spremljevalnega korpusa za slovenščino. Trenutna različica Trendi 2023-02 pokriva besedila od januarja 2019 do konca februarja 2023, vsebuje pa že več kot 700 milijonov pojavnic oz. več kot 586 milijonov besed. Namen korpusa je, da tako strokovni kot nestrokovni javnosti ponudi podatke o aktualni jezikovni rabi in omogoči spremljanje pojavljanja novih besed ter upadanja ali naraščanja rabe že obstoječih. Poleg same vsebine predstavimo tudi metodologijo in načela izdelave korpusa. Drugi del prispevka opisuje razvoj algoritma za avtomatsko kategorizacijo besedil z novičarskih portalov, ki je bil pripravljen za potrebe korpusa Trendi in tudi drugih korpusov s tovrstnimi besedili. Za namene algoritma je bil izdelan nabor 13 tematskih kategorij, ki so v veliki meri prekrivne z mednarodnimi standardi in kategorijami v primerljivih korpusih drugih jezikov. Na besedilih, označenih s kategorijami, smo naučili več različnih jezikovnih modelov in z najprimernejšim dosegli visoko zanesljivost določevanja tematike besedilom. https://journals-test.uni-lj.si/slovenscina2/article/view/12073spremljevalni korpusavtomatska kategorizacija besedilneologizminovičarski portalislovenščina |
| spellingShingle | Iztok Kosem Jaka Čibej Kaja Dobrovoljc Taja Kuzman Nikola Ljubešić Spremljevalni korpus Trendi in avtomatska kategorizacija Slovenščina 2.0: Empirične, aplikativne in interdisciplinarne raziskave spremljevalni korpus avtomatska kategorizacija besedil neologizmi novičarski portali slovenščina |
| title | Spremljevalni korpus Trendi in avtomatska kategorizacija |
| title_full | Spremljevalni korpus Trendi in avtomatska kategorizacija |
| title_fullStr | Spremljevalni korpus Trendi in avtomatska kategorizacija |
| title_full_unstemmed | Spremljevalni korpus Trendi in avtomatska kategorizacija |
| title_short | Spremljevalni korpus Trendi in avtomatska kategorizacija |
| title_sort | spremljevalni korpus trendi in avtomatska kategorizacija |
| topic | spremljevalni korpus avtomatska kategorizacija besedil neologizmi novičarski portali slovenščina |
| url | https://journals-test.uni-lj.si/slovenscina2/article/view/12073 |
| work_keys_str_mv | AT iztokkosem spremljevalnikorpustrendiinavtomatskakategorizacija AT jakacibej spremljevalnikorpustrendiinavtomatskakategorizacija AT kajadobrovoljc spremljevalnikorpustrendiinavtomatskakategorizacija AT tajakuzman spremljevalnikorpustrendiinavtomatskakategorizacija AT nikolaljubesic spremljevalnikorpustrendiinavtomatskakategorizacija |