Artificial neural networks with dynamic synapses: a review
Artificial neural networks (ANNs) are widely applied to solve real-world problems. Most of the actions we take and the processes around us are time-varying. ANNs with dynamic properties allow processing time-dependent data and solving tasks such as speech and text processing, prediction models, fac...
| Main Author: | |
|---|---|
| Format: | Article |
| Language: | English |
| Published: |
Vilnius Gediminas Technical University
2023-11-01
|
| Series: | Mokslas: Lietuvos Ateitis |
| Subjects: | |
| Online Access: | https://jau.vgtu.lt/index.php/MLA/article/view/20144 |
| _version_ | 1797633598352785408 |
|---|---|
| author | Martynas Dumpis |
| author_facet | Martynas Dumpis |
| author_sort | Martynas Dumpis |
| collection | DOAJ |
| description |
Artificial neural networks (ANNs) are widely applied to solve real-world problems. Most of the actions we take and the processes around us are time-varying. ANNs with dynamic properties allow processing time-dependent data and solving tasks such as speech and text processing, prediction models, face and emotion recognition, game strategy development. Dynamics in neural networks can appear in the input data, the architecture of the neural network, and the individual elements of the neural network – synapses and neurons. Unlike static synapses, dynamic synapses can change their connection strength based on incoming information. This is a fundamental principle allows neural networks to perform complex tasks like word processing or face recognition more efficiently. Dynamic synapses play a key role in the ability of artificial neural networks to learn from experience and change over time, which is one of the key aspects of artificial intelligence. The scientific works examined in this article show that there are no literature sources that review and compare dynamic DNTs according to their synapses. To fill this gap, the article reviews and groups DNTs with dynamic synapses. Dynamic neural networks are defined by providing a general mathematical expression. A dynamic synapse is described by specifying its main properties and presenting a general mathematical expression. Also an explanation, how these synapses can be modelled and integrated into 11 different dynamic ANNs is shown. Moreover, structures of dynamic ANNs are compared according to the properties of dynamic synapses.
Article in Lithuanian.
Dirbtinių neuronų tinklų su dinaminėmis sinapsėmis apžvalga
Santrauka
Dirbtinių neuronų tinklai (DNT) yra plačiai taikomi realaus pasaulio problemoms spręsti. Dauguma mūsų atliekamų veiksmų ir mus supančių procesų yra kintantys laike. Neuronų tinklai, turintys dinamines savybes, leidžia apdoroti laike kintančius duomenis ir spręsti tokius uždavinius kaip kalbos ir teksto apdorojimas, prognozių modeliavimas, veido ar emocijų atpažinimas, žaidimų strategijų kūrimas. DNT dinamika užtikrinama įėjimo duomenų apdorojimo procese, neuronų tinklo sandaroje ar atskiruose DNT elementuose – sinapsėse ar neuronuose. Skirtingai nuo statinių sinapsių, dinaminės sinapsės turi gebėjimą keisti savo ryšio stiprumą pagal gaunamą informaciją. Ši savybė leidžia joms mokytis ir adaptuotis prie kintančių situacijų. Tai yra esminis principas, leidžiantis DNT efektyviau atlikti sudėtingas užduotis, tokias kaip teksto apdorojimas arba veido atpažinimas. Dinaminės sinapsės atlieka svarbų vaidmenį formuojant DNT gebėjimą mokytis iš patirties ir keistis laikui bėgant, o tai yra vienas iš pagrindinių dirbtinio intelekto (DI) aspektų. Šiame straipsnyje nagrinėti moksliniai darbai parodo, jog nėra literatūros šaltinių, kuriuose būtų apžvelgti ir palyginti dinaminiai DNT pagal jų sinapses. Siekiant užpildyti šią spragą, straipsnyje apžvelgiami ir sugrupuojami DNT su dinaminėmis sinapsėmis. Apibrėžiami dinaminiai neuronų tinklai pateikiant bendrinę matematinę išraišką. Apibūdinama dinaminė sinapsė nurodant jos pagrindines savybes ir pateikiant bendrinę matematinę išraišką. Nagrinėjama, kaip ši sinapsė gali būti modeliuojama ir integruojama į 11 skirtingų dinaminių DNT struktūrų. Išnagrinėtos dinaminių DNT struktūros palyginamos pagal dinaminių sinapsių savybes.
Reikšminiai žodžiai: dirbtinių neuronų tinklai, dinaminės sinapsės, dinaminiai ryšiai, laikui bėgant kintantys signalai.
|
| first_indexed | 2024-03-11T11:56:09Z |
| format | Article |
| id | doaj.art-c05e96427a054a61bdc45b49cb7fe35a |
| institution | Directory Open Access Journal |
| issn | 2029-2341 2029-2252 |
| language | English |
| last_indexed | 2024-03-11T11:56:09Z |
| publishDate | 2023-11-01 |
| publisher | Vilnius Gediminas Technical University |
| record_format | Article |
| series | Mokslas: Lietuvos Ateitis |
| spelling | doaj.art-c05e96427a054a61bdc45b49cb7fe35a2023-11-08T16:22:00ZengVilnius Gediminas Technical UniversityMokslas: Lietuvos Ateitis2029-23412029-22522023-11-011510.3846/mla.2023.20144Artificial neural networks with dynamic synapses: a reviewMartynas Dumpis0Vilniaus Gedimino technikos universitetas, Vilnius, Lietuva Artificial neural networks (ANNs) are widely applied to solve real-world problems. Most of the actions we take and the processes around us are time-varying. ANNs with dynamic properties allow processing time-dependent data and solving tasks such as speech and text processing, prediction models, face and emotion recognition, game strategy development. Dynamics in neural networks can appear in the input data, the architecture of the neural network, and the individual elements of the neural network – synapses and neurons. Unlike static synapses, dynamic synapses can change their connection strength based on incoming information. This is a fundamental principle allows neural networks to perform complex tasks like word processing or face recognition more efficiently. Dynamic synapses play a key role in the ability of artificial neural networks to learn from experience and change over time, which is one of the key aspects of artificial intelligence. The scientific works examined in this article show that there are no literature sources that review and compare dynamic DNTs according to their synapses. To fill this gap, the article reviews and groups DNTs with dynamic synapses. Dynamic neural networks are defined by providing a general mathematical expression. A dynamic synapse is described by specifying its main properties and presenting a general mathematical expression. Also an explanation, how these synapses can be modelled and integrated into 11 different dynamic ANNs is shown. Moreover, structures of dynamic ANNs are compared according to the properties of dynamic synapses. Article in Lithuanian. Dirbtinių neuronų tinklų su dinaminėmis sinapsėmis apžvalga Santrauka Dirbtinių neuronų tinklai (DNT) yra plačiai taikomi realaus pasaulio problemoms spręsti. Dauguma mūsų atliekamų veiksmų ir mus supančių procesų yra kintantys laike. Neuronų tinklai, turintys dinamines savybes, leidžia apdoroti laike kintančius duomenis ir spręsti tokius uždavinius kaip kalbos ir teksto apdorojimas, prognozių modeliavimas, veido ar emocijų atpažinimas, žaidimų strategijų kūrimas. DNT dinamika užtikrinama įėjimo duomenų apdorojimo procese, neuronų tinklo sandaroje ar atskiruose DNT elementuose – sinapsėse ar neuronuose. Skirtingai nuo statinių sinapsių, dinaminės sinapsės turi gebėjimą keisti savo ryšio stiprumą pagal gaunamą informaciją. Ši savybė leidžia joms mokytis ir adaptuotis prie kintančių situacijų. Tai yra esminis principas, leidžiantis DNT efektyviau atlikti sudėtingas užduotis, tokias kaip teksto apdorojimas arba veido atpažinimas. Dinaminės sinapsės atlieka svarbų vaidmenį formuojant DNT gebėjimą mokytis iš patirties ir keistis laikui bėgant, o tai yra vienas iš pagrindinių dirbtinio intelekto (DI) aspektų. Šiame straipsnyje nagrinėti moksliniai darbai parodo, jog nėra literatūros šaltinių, kuriuose būtų apžvelgti ir palyginti dinaminiai DNT pagal jų sinapses. Siekiant užpildyti šią spragą, straipsnyje apžvelgiami ir sugrupuojami DNT su dinaminėmis sinapsėmis. Apibrėžiami dinaminiai neuronų tinklai pateikiant bendrinę matematinę išraišką. Apibūdinama dinaminė sinapsė nurodant jos pagrindines savybes ir pateikiant bendrinę matematinę išraišką. Nagrinėjama, kaip ši sinapsė gali būti modeliuojama ir integruojama į 11 skirtingų dinaminių DNT struktūrų. Išnagrinėtos dinaminių DNT struktūros palyginamos pagal dinaminių sinapsių savybes. Reikšminiai žodžiai: dirbtinių neuronų tinklai, dinaminės sinapsės, dinaminiai ryšiai, laikui bėgant kintantys signalai. https://jau.vgtu.lt/index.php/MLA/article/view/20144artificial neural networksdynamic synapsesdynamic connectionstime-varying signals |
| spellingShingle | Martynas Dumpis Artificial neural networks with dynamic synapses: a review Mokslas: Lietuvos Ateitis artificial neural networks dynamic synapses dynamic connections time-varying signals |
| title | Artificial neural networks with dynamic synapses: a review |
| title_full | Artificial neural networks with dynamic synapses: a review |
| title_fullStr | Artificial neural networks with dynamic synapses: a review |
| title_full_unstemmed | Artificial neural networks with dynamic synapses: a review |
| title_short | Artificial neural networks with dynamic synapses: a review |
| title_sort | artificial neural networks with dynamic synapses a review |
| topic | artificial neural networks dynamic synapses dynamic connections time-varying signals |
| url | https://jau.vgtu.lt/index.php/MLA/article/view/20144 |
| work_keys_str_mv | AT martynasdumpis artificialneuralnetworkswithdynamicsynapsesareview |