Мультибіометрична ідентифікація студента за його голосовими та візуальними біометричними показниками в процесі дистанційної освіти
Мета дослідження – розкрити сутність мультибіометричної ідентифікації студента й обґрунтувати доцільність її застосування для покращення якості, мінімізувати похибки в процесі його розпізнавання із застосуванням голосових і візуальних біометричних ідентифікаторів, що зберігаються в аудіофайлах, від...
| Main Authors: | , , |
|---|---|
| Format: | Article |
| Language: | English |
| Published: |
KNUKiM Publishing Centre
2022-06-01
|
| Series: | Цифрова платформа: інформаційні технології в соціокультурній сфері |
| Subjects: | |
| Online Access: | http://infotech-soccult.knukim.edu.ua/article/view/261293 |
| _version_ | 1828329835098800128 |
|---|---|
| author | Тетяна Ковалюк Анастасія Шевченко Наталія Кобець |
| author_facet | Тетяна Ковалюк Анастасія Шевченко Наталія Кобець |
| author_sort | Тетяна Ковалюк |
| collection | DOAJ |
| description |
Мета дослідження – розкрити сутність мультибіометричної ідентифікації студента й обґрунтувати доцільність її застосування для покращення якості, мінімізувати похибки в процесі його розпізнавання із застосуванням голосових і візуальних біометричних ідентифікаторів, що зберігаються в аудіофайлах, відео- та фотозображеннях.
Методи дослідження. Застосовано системний підхід щодо визначення вимог до програмного забезпечення системи мультибіометричної ідентифікації людини, методи обробки звуку, моделі нейронних мереж як класифікатори, що ідентифікують особу за вектором голосових ознак, методи візуальної ідентифікації особи за відеопотоком і за фотозображеннями.
Наукова новизна. Набули подальшого розвитку методи виявлення голосових ознак диктора, методи ідентифікації та реєстрації особи за її голосовими ознаками, алгоритми візуальної ідентифікації особи за її зображеннями у відеопотоці та за фотозображеннями на базі алгоритмів Віоли-Джонса, Eigenface і FisherFace; розроблено архітектуру системи мультибіометричної ідентифікації людини.
Висновки. Запропоновано мультибіометричну ідентифікацію студента за його голосовими та візуальними біометричними показниками для системи дистанційної освіти. Система передбачає витягнення акустичних характеристик із запису мови людини та подальше віднесення отриманих даних до одного з наперед заданих класів (дикторів). У ролі класифікатора застосовано багатошарову нейронну мережу (БШНМ). Класифікатор навчений на наборі даних з 43832 аудіофайлів від 108 дикторів. БШНМ на тестовій вибірці продемонструвала точність у 91 %. На етапі обробки кадрів відеопотоку здійснено виявлення обличчя в кадрі та розпізнавання виявленого обличчя. Розпізнавання облич у системі проводилося на основі пошуку найбільш відповідного шаблону базових зображень, що зберігаються в базі даних. Розроблено програмну систему для розпізнавання та індексації людей на відео одночасно з ідентифікацією особи за голосовими ознаками, щоб використовувати її в освітньому процесі для обліку відвідування дистанційних занять.
|
| first_indexed | 2024-04-13T20:31:04Z |
| format | Article |
| id | doaj.art-281e0ab51d454c40b2be08da7f53b793 |
| institution | Directory Open Access Journal |
| issn | 2617-796X 2618-0049 |
| language | English |
| last_indexed | 2024-04-13T20:31:04Z |
| publishDate | 2022-06-01 |
| publisher | KNUKiM Publishing Centre |
| record_format | Article |
| series | Цифрова платформа: інформаційні технології в соціокультурній сфері |
| spelling | doaj.art-281e0ab51d454c40b2be08da7f53b7932022-12-22T02:31:10ZengKNUKiM Publishing CentreЦифрова платформа: інформаційні технології в соціокультурній сфері2617-796X2618-00492022-06-015110.31866/2617-796X.5.1.2022.261293Мультибіометрична ідентифікація студента за його голосовими та візуальними біометричними показниками в процесі дистанційної освітиТетяна Ковалюк0Анастасія Шевченко1Наталія Кобець2Київський національний університет імені Тараса ШевченкаКиївський національний університет імені Тараса ШевченкаUNITY-BARS LLC Мета дослідження – розкрити сутність мультибіометричної ідентифікації студента й обґрунтувати доцільність її застосування для покращення якості, мінімізувати похибки в процесі його розпізнавання із застосуванням голосових і візуальних біометричних ідентифікаторів, що зберігаються в аудіофайлах, відео- та фотозображеннях. Методи дослідження. Застосовано системний підхід щодо визначення вимог до програмного забезпечення системи мультибіометричної ідентифікації людини, методи обробки звуку, моделі нейронних мереж як класифікатори, що ідентифікують особу за вектором голосових ознак, методи візуальної ідентифікації особи за відеопотоком і за фотозображеннями. Наукова новизна. Набули подальшого розвитку методи виявлення голосових ознак диктора, методи ідентифікації та реєстрації особи за її голосовими ознаками, алгоритми візуальної ідентифікації особи за її зображеннями у відеопотоці та за фотозображеннями на базі алгоритмів Віоли-Джонса, Eigenface і FisherFace; розроблено архітектуру системи мультибіометричної ідентифікації людини. Висновки. Запропоновано мультибіометричну ідентифікацію студента за його голосовими та візуальними біометричними показниками для системи дистанційної освіти. Система передбачає витягнення акустичних характеристик із запису мови людини та подальше віднесення отриманих даних до одного з наперед заданих класів (дикторів). У ролі класифікатора застосовано багатошарову нейронну мережу (БШНМ). Класифікатор навчений на наборі даних з 43832 аудіофайлів від 108 дикторів. БШНМ на тестовій вибірці продемонструвала точність у 91 %. На етапі обробки кадрів відеопотоку здійснено виявлення обличчя в кадрі та розпізнавання виявленого обличчя. Розпізнавання облич у системі проводилося на основі пошуку найбільш відповідного шаблону базових зображень, що зберігаються в базі даних. Розроблено програмну систему для розпізнавання та індексації людей на відео одночасно з ідентифікацією особи за голосовими ознаками, щоб використовувати її в освітньому процесі для обліку відвідування дистанційних занять. http://infotech-soccult.knukim.edu.ua/article/view/261293машинне навчанняштучні нейронні мережіідентифікація дикторабіометріярозпізнавання голосурозпізнавання облич |
| spellingShingle | Тетяна Ковалюк Анастасія Шевченко Наталія Кобець Мультибіометрична ідентифікація студента за його голосовими та візуальними біометричними показниками в процесі дистанційної освіти Цифрова платформа: інформаційні технології в соціокультурній сфері машинне навчання штучні нейронні мережі ідентифікація диктора біометрія розпізнавання голосу розпізнавання облич |
| title | Мультибіометрична ідентифікація студента за його голосовими та візуальними біометричними показниками в процесі дистанційної освіти |
| title_full | Мультибіометрична ідентифікація студента за його голосовими та візуальними біометричними показниками в процесі дистанційної освіти |
| title_fullStr | Мультибіометрична ідентифікація студента за його голосовими та візуальними біометричними показниками в процесі дистанційної освіти |
| title_full_unstemmed | Мультибіометрична ідентифікація студента за його голосовими та візуальними біометричними показниками в процесі дистанційної освіти |
| title_short | Мультибіометрична ідентифікація студента за його голосовими та візуальними біометричними показниками в процесі дистанційної освіти |
| title_sort | мультибіометрична ідентифікація студента за його голосовими та візуальними біометричними показниками в процесі дистанційної освіти |
| topic | машинне навчання штучні нейронні мережі ідентифікація диктора біометрія розпізнавання голосу розпізнавання облич |
| url | http://infotech-soccult.knukim.edu.ua/article/view/261293 |
| work_keys_str_mv | AT tetânakovalûk mulʹtibíometričnaídentifíkacíâstudentazajogogolosovimitavízualʹnimibíometričnimipokaznikamivprocesídistancíjnoíosvíti AT anastasíâševčenko mulʹtibíometričnaídentifíkacíâstudentazajogogolosovimitavízualʹnimibíometričnimipokaznikamivprocesídistancíjnoíosvíti AT natalíâkobecʹ mulʹtibíometričnaídentifíkacíâstudentazajogogolosovimitavízualʹnimibíometričnimipokaznikamivprocesídistancíjnoíosvíti |