Naslov Gait recognition using a self-supervised self-attention deep learning model : doctoral dissertation Naslov (hrvatski) Identifikacija osoba temeljem hoda upotrebom samonadzirnoga modela dubokoga učenja primjenom mehanizma samopozornosti : doktorski rad Autor Domagoj Pinčić Mentor Kristijan Lenac (mentor)Član povjerenstva Ivo Ipšić (predsjednik povjerenstva)Član povjerenstva Sandi Ljubić (član povjerenstva)Član povjerenstva Žiga Emeršič Ustanova koja je dodijelila Sveučilište u Rijeci Datum i država obrane 2023-09-04, Hrvatska Znanstveno / umjetničko TEHNIČKE ZNANOSTI Univerzalna decimalna klasifikacijaUDC ) 004 - Računalna znanost i tehnologija. Računalstvo. Obrada podataka Sažetak Gait biometric is unique to each individual and has numerous beneficial characteristics
that make it suitable for various applications, such as crime investigation, surveillance,
and access control. What makes gait recognition especially appealing is its ability to be
recognized remotely without the cooperation of the individual. Furthermore, the use of
low-resolution cameras is sufficient for gait recognition, thus reducing the need for specialized equipment. Additionally, obscuring or falsifying one’s gait is inherently difficult,
enhancing the reliability of this method.
This dissertation explores the gait recognition problem with the goal of achieving an
accurate recognition rate by utilizing the self-supervised learning approach in order to
train feature extraction models to learn useful gait features, without using data annotation, bypassing the need for expensive and time-consuming data annotation. Furthermore,
a ViT model is proposed as a backbone model, and its performance is investigated in the
context of gait recognition.
An experimental study was performed, by training the feature extraction models on the
two widely used gait recognition datasets, CASIA-B and OU-MVLP. The gait features
are extracted using the feature extraction model, and the features are classified using
a proposed FCNN classifier, obtaining results comparable to those of the state-of-theart approaches based on supervised learning, while being robust to various covariates
and view angles. Moreover, the ablation study is performed to analyze the effect of
feature extraction model pretraining on different datasets and the differences between the
supervised and self-supervised learning approaches for this task.
Sažetak (engleski) Hod je jedinstvena biometrijska značajka za svaku osobu, te kao takva ima brojne
djelotvorne karakteristike koje omogućuju primjenu prepoznavanja osoba putem hoda
u područjima poput kriminalističkih istraga, nadzora, te kontrole pristupa. Jedna od
glavnih prednosti hoda kao biometrijske značajke je mogućnost prepoznavanja hoda osobe na daljinu, bez suradnje osobe. Nadalje, moguće je korištenje kamera niske rezolucije
za prepoznavanje hoda osobe, što dovodi do smanjenja potrebe za specijaliziranom opremom. Dodatno, skrivanje ili mijenjanje hoda osobe je vrlo teško i zahtjevno, što rezultira
činjenicom da je hod osobe vrlo pouzdana metoda identifikacije osobe.
Ovaj doktorski rad istražuje problem prepoznavanja osoba putem hoda s ciljem postizanja točne razine prepoznavanja osoba, koristeći samonadzirani pristup učenja za treniranje modela za izlučivanje značajki hoda, kako bi model naučio korisne značajke hoda bez
korištenja oznaka podataka, time zaobilazeći potrebu za skupim i dugotrajnim označavanjem podataka. Nadalje, ViT model dubokog učenja je predložen kao bazični model, te
su njegove performanse analizirane u kontekstu prepoznavanja osoba putem hoda.
Podaci korišteni u ovom radu su pripremljeni u formi skupova podataka za treniranje
modela za ekstrakciju značajki hoda, iz skupova podataka CASIA-B i OU-MVLP. Podaci su pretprocesirani kako bi se uklonio suvišan šum te je generirana reprezentacija
značajki hoda u obliku GEI slika za svaku osobu, te za svaki ciklus hoda. Zatim je provedena eksperimentalna studija, trenirajući modele za izlučivanje značajki hoda na dva
spomenuta skupa podataka. Istrenirani su ViT modeli dubokog učenja s dvije različite
veličine podjele ulazne slike na segmente, 16 × 16 i 8 × 8 piksela, kako bi se analizirao
utjecaj veličine navedenog parametra na točnost prepoznavanja osoba. Značajke hoda
su potom izlučene koristeći istrenirane modele za izlučivanje značajki, te su dobivene
značajke hoda klasificirane koristeći predloženi FCNN model za klasifikaciju.
Rezultati ostvareni kroz navedenu eksperimentalnu studiju pokazuju kako je navedeni
pristup ostvario točnost prepoznavanja osoba putem hoda usporedivu s drugim najsuvremenijim metodama koje kao osnovu koriste nadzirano učenje, te je navedeni pristup
robustan na različite varijante poput normalnog hoda, hoda s torbom ili hoda u kaputu,
te kuteve pod kojima je osoba snimljena. Takoder, provedena je provjera utjecaja komponenti sustava na učinkovitost kako bi se analizirali utjecaji pred-treniranja modela za
izlučivanje značajki hoda na različitim skupovima podataka, te razlike između nadziranog
i samonadziranog pristupa učenju za navedeni problem prepoznavanja osoba putem hoda.
Ključne riječi
gait recognition
self-supervised learning
ViT
neural network
Ključne riječi (hrvatski)
prepoznavanje hoda
samonadzirano uˇcenje
ViT
neuralna mreˇza
Jezik engleski URN:NBN urn:nbn:hr:190:487376 Datum promocije 2023 Studijski program Naziv: Poslijediplomski sveučilišni (doktorski) studij iz znanstvenog područja Tehničkih znanosti, znanstvenog polja Računarstvo Vrsta resursa Tekst Opseg IX, 129 str. ; 30 cm Način izrade datoteke Izvorno digitalna Prava pristupa Otvoreni pristup Uvjeti korištenja Datum i vrijeme pohrane 2023-10-17 11:46:39
