Title Sučelje mozak - računalo za pisanje primjenom auditornih podražaja
Title (english) Auditory brain-computer interface speller
Author Ivan Markovinović
Mentor Saša Vlahinić (mentor)
Mentor Miroslav Vrankić (komentor)
Committee member Ivan Volarić (predsjednik povjerenstva)
Committee member Viktor Sučić (član povjerenstva)
Committee member Peter Rogelj https://orcid.org/0000-0003-2939-6945 (član povjerenstva)
Granter University of Rijeka Faculty of Engineering Rijeka
Defense date and country 2023-03-01, Croatia
Scientific / art field, discipline and subdiscipline TECHNICAL SCIENCES Electrical Engineering
Universal decimal classification (UDC ) 621.3 - Electrical engineering
Abstract Kompletan gubitak motoričkih sposobnosti uzrokovan pretrpljenim traumatičnim
događajem ili kao posljedica neurodegenerativne bolesti poput amiotrofične lateralne skleroze
gotovo uvijek se manifestira kroz gubitak sposobnosti komunikacije, u pismu kao i govoru, što
povrh svega dodatno pogoršava kvalitetu života pogođenih pojedinaca. Uz uvjet funkcionalnog
organa vida, asistivna tehnologija ponudila je cijeli niz tehnoloških rješenja koja su navedenoj
populaciji omogućila sposobnost komunikacije, te time poboljšala kvalitetu njihovog života.
Unatoč dobrim rezultatima i širokom izboru mogućnosti takvi vizualni sustavi nisu primjenjivi
za malu grupu osoba kod kojih je napredak bolesti uzrokovao gubitak vida. Problem
komunikacije s takvim osobama još je uvijek otvoreno pitanje, gdje trenutna rješenja daju
veoma limitirane rezultate.
Potencijalno rješenje nudi se kroz primjenu sučelja mozak-računalo odnosno sustava koji
izmjerenu i obrađenu neurološku aktivnost pretvara u kontrolne naredbe za upravljani sustav.
Većina dosadašnjih izvedbi sučelja koristi neurološku reakciju na vizualne podražaje ili neki
oblik vizualne podrške s ciljem lakšeg upravljanja sustavom, čime je ova vrsta komunikacije
također ograničena na osobe koje imaju sposobnost vida. U ovom doktorskom radu
prezentirano je sučelje mozak-računalo za pisanje koje primjenjuje samo auditorne podražaje,
a koje je namijenjeno navedenoj grupi čija se neurološka aktivnost mjeri najrasprostranjenijom
i cjenovno najprihvatljivijom elektroencefalografskom (EEG) metodom. Temeljna ideja
sustava je da korisnik na temelju klasificirane mjerene moždane aktivnosti izdvoji željeno slovo
iz niza nasumično poredanih odabranih slova hrvatske abecede prezentiranih korisniku preko
auditornih podražaja. Odabir stimulacija u obliku slova tj. fonema iz hrvatskog jezika
omogućilo je izvedbu sustava koji pisanje ostvaruje redanjem slova, tj. na način koji je svima
poznat zbog čega je upoznavanje i prilagodba na sustav maksimalno skraćena i dodatno
prilagođena krajnjim korisnicima.
Obrada i analiza neuroloških reakcija izmjerenih na grupi subjekata prilikom korištenja
predloženog sučelja pokazala je stabilne karakteristične moždane reakcije na ciljane podražaje,
a isti podatci korišteni su za treniranje različitih tipova klasifikatora i prostornih filtera.
Validacija sustava izvršena je na istim subjektima kroz zadatak pisanja rečenica, te je pokazala
izvrsne i dobre rezultate kod 50% subjekata, dok konačna izvedba sustava obuhvaća obradu i
klasifikaciju mjerenih EEG signala u stvarnom vremenu u dvije klasifikacijske razine. U prvoj
razini subjektu su prezentirana sva odabrana slova hrvatske abecede, dok je povećanje točnosti klasifikacije moguće kroz sljedeću klasifikacijsku razinu u kojoj se subjekt stimulira s pet slova
s najboljim klasifikacijskim rezultatima iz prethodne razine.
Ograničenja primijenjene EEG mjerne metode i obrade signala pokazana su u analizi
točnosti sustava s reduciranim brojem korištenih elektroda. Dobiveni rezultati zadržavaju
postignutu točnost unatoč reduciranom broja elektroda pogotovo kod osoba koje navedeni
sustav koriste s velikom sigurnošću, ukazujući pritom na veliki nedostatak prostorne rezolucije
kod EEG mjerenja i potrebu za primjenom mjernih metodama boljih prostornih karakteristika.
Abstract (english) The complete loss of motor skills caused by the suffered traumatic event or as a result of
neurodegenerative disease such as amyotrophic lateral sclerosis, almost always manifests itself
through inability to communicate, both in writing and speech, which further degrades the life
quality of the individuals in question. In case of a patient’s functional eyesight, the assistive
technology offered a whole series of technological solutions which restore the communication
capability of the mentioned population, increasing their life quality. Despite good results and a
wide selection of options, such systems are not suitable for a small group of people who
experienced vision loss in the advanced stages of diseases. Problem of communicating with
such individuals remains the open topic, where current solutions provide very limited results.
A potential solution is available through the application of a brain-computer interface, i.e. a
system which converts the measured and processed neurological activity into control
commands for the managed system. Large number of such interfaces use a neurological reaction
to visual stimuli or use some form of visual support in order to simplify the control of the
system, hence this type of interface is also limited to individuals with eyesight. This doctoral
thesis proposes brain-computer interface for writing that applies only auditory stimuli, and
which is intended for the mentioned group whose neurological activity is measured by the most
widespread and affordable method: Electroencephalogram (EEG). The basic idea behind the
proposed system is that the user selects the desired letter from a series of randomly ordered
letters of the Croatian alphabet presented through the auditory system based on the classified
measured brain activity. The selection of stimuli in the form of letters, that is, phonemes from
the Croatian language enabled the implementation of a spelling system maximally shortening
the end-user training time.
Processing and analysis of neurological reactions measured on a group of subjects with the
proposed interface showed stable typical brain reactions to target stimuli, and the same data has
been used to train several types of classifiers and spatial filters. Validation of the system has
been performed on the same group of subjects through the task of writing sentences, showing
a satisfactory result in 50% of subjects. The final system implementation includes processing
and classification of measured EEG signals in real time across two classification levels. In the
first level, all included letters are presented to the subject once, while the second classification
level further increases the classification accuracy by stimulating the subject with additional five
letters which achieved the highest classification probability in the previous stage. The limitations of the proposed EEG measurement and processing method is shown in the
analysis of the system accuracy with the reduced number of used electrodes. The obtained
results indicate a similar system accuracy with the reduced number of electrodes, especially by
subjects who are able to use proposed system with great confidence, indicating a deficiency in
the spatial resolution of the EEG measurement which can be solved by using measuring
methods with better spatial characteristics.
Keywords
obrada EEG signala
sučelje mozak-računalo
auditorni podražaji
Keywords (english)
EEG signal processing
Brain Computer – Interface (BCI)
auditory stimulation
Language croatian
URN:NBN urn:nbn:hr:190:612506
Promotion 2023
Study programme Title: Postgraduate university doctoral study in the area of Engineering sciences, in the field of Electrical engineering; specializations in: Electrical Engineering Course: Electrical Engineering Study programme type: university Study level: postgraduate Academic / professional title: doktor/doktorica znanosti, područje tehničkih znanosti (doktor/doktorica znanosti, područje tehničkih znanosti)
Type of resource Text
Extent XVII, 124 str; 30 cm
File origin Born digital
Access conditions Open access
Terms of use
Created on 2023-03-10 11:34:16