Title Gait recognition using a self-supervised self-attention deep learning model : doctoral dissertation
Title (croatian) Identifikacija osoba temeljem hoda upotrebom samonadzirnoga modela dubokoga učenja primjenom mehanizma samopozornosti : doktorski rad
Author Domagoj Pinčić
Mentor Kristijan Lenac (mentor)
Committee member Ivo Ipšić (predsjednik povjerenstva)
Committee member Sandi Ljubić (član povjerenstva)
Committee member Žiga Emeršič https://orcid.org/0000-0002-3726-9404 (član povjerenstva)
Granter University of Rijeka Faculty of Engineering Rijeka
Defense date and country 2023-09-04, Croatia
Scientific / art field, discipline and subdiscipline TECHNICAL SCIENCES Computing
Universal decimal classification (UDC ) 004 - Computer science and technology. Computing. Data processing
Abstract Gait biometric is unique to each individual and has numerous beneficial characteristics
that make it suitable for various applications, such as crime investigation, surveillance,
and access control. What makes gait recognition especially appealing is its ability to be
recognized remotely without the cooperation of the individual. Furthermore, the use of
low-resolution cameras is sufficient for gait recognition, thus reducing the need for specialized equipment. Additionally, obscuring or falsifying one’s gait is inherently difficult,
enhancing the reliability of this method.
This dissertation explores the gait recognition problem with the goal of achieving an
accurate recognition rate by utilizing the self-supervised learning approach in order to
train feature extraction models to learn useful gait features, without using data annotation, bypassing the need for expensive and time-consuming data annotation. Furthermore,
a ViT model is proposed as a backbone model, and its performance is investigated in the
context of gait recognition.
An experimental study was performed, by training the feature extraction models on the
two widely used gait recognition datasets, CASIA-B and OU-MVLP. The gait features
are extracted using the feature extraction model, and the features are classified using
a proposed FCNN classifier, obtaining results comparable to those of the state-of-theart approaches based on supervised learning, while being robust to various covariates
and view angles. Moreover, the ablation study is performed to analyze the effect of
feature extraction model pretraining on different datasets and the differences between the
supervised and self-supervised learning approaches for this task.
Abstract (english) Hod je jedinstvena biometrijska značajka za svaku osobu, te kao takva ima brojne
djelotvorne karakteristike koje omogućuju primjenu prepoznavanja osoba putem hoda
u područjima poput kriminalističkih istraga, nadzora, te kontrole pristupa. Jedna od
glavnih prednosti hoda kao biometrijske značajke je mogućnost prepoznavanja hoda osobe na daljinu, bez suradnje osobe. Nadalje, moguće je korištenje kamera niske rezolucije
za prepoznavanje hoda osobe, što dovodi do smanjenja potrebe za specijaliziranom opremom. Dodatno, skrivanje ili mijenjanje hoda osobe je vrlo teško i zahtjevno, što rezultira
činjenicom da je hod osobe vrlo pouzdana metoda identifikacije osobe.
Ovaj doktorski rad istražuje problem prepoznavanja osoba putem hoda s ciljem postizanja točne razine prepoznavanja osoba, koristeći samonadzirani pristup učenja za treniranje modela za izlučivanje značajki hoda, kako bi model naučio korisne značajke hoda bez
korištenja oznaka podataka, time zaobilazeći potrebu za skupim i dugotrajnim označavanjem podataka. Nadalje, ViT model dubokog učenja je predložen kao bazični model, te
su njegove performanse analizirane u kontekstu prepoznavanja osoba putem hoda.
Podaci korišteni u ovom radu su pripremljeni u formi skupova podataka za treniranje
modela za ekstrakciju značajki hoda, iz skupova podataka CASIA-B i OU-MVLP. Podaci su pretprocesirani kako bi se uklonio suvišan šum te je generirana reprezentacija
značajki hoda u obliku GEI slika za svaku osobu, te za svaki ciklus hoda. Zatim je provedena eksperimentalna studija, trenirajući modele za izlučivanje značajki hoda na dva
spomenuta skupa podataka. Istrenirani su ViT modeli dubokog učenja s dvije različite
veličine podjele ulazne slike na segmente, 16 × 16 i 8 × 8 piksela, kako bi se analizirao
utjecaj veličine navedenog parametra na točnost prepoznavanja osoba. Značajke hoda
su potom izlučene koristeći istrenirane modele za izlučivanje značajki, te su dobivene
značajke hoda klasificirane koristeći predloženi FCNN model za klasifikaciju.
Rezultati ostvareni kroz navedenu eksperimentalnu studiju pokazuju kako je navedeni
pristup ostvario točnost prepoznavanja osoba putem hoda usporedivu s drugim najsuvremenijim metodama koje kao osnovu koriste nadzirano učenje, te je navedeni pristup
robustan na različite varijante poput normalnog hoda, hoda s torbom ili hoda u kaputu,
te kuteve pod kojima je osoba snimljena. Takoder, provedena je provjera utjecaja komponenti sustava na učinkovitost kako bi se analizirali utjecaji pred-treniranja modela za
izlučivanje značajki hoda na različitim skupovima podataka, te razlike između nadziranog
i samonadziranog pristupa učenju za navedeni problem prepoznavanja osoba putem hoda.
Keywords
gait recognition
self-supervised learning
ViT
neural network
Keywords (croatian)
prepoznavanje hoda
samonadzirano uˇcenje
ViT
neuralna mreˇza
Language english
URN:NBN urn:nbn:hr:190:487376
Promotion 2023
Study programme Title: Postgraduate University Doctoral Study in the area of Engineering Sciences, in the field of Computer Science Study programme type: university Study level: postgraduate Academic / professional title: doktor/doktorica znanosti, područje tehničkih znanosti, polje računarstvo (doktor/doktorica znanosti, područje tehničkih znanosti, polje računarstvo)
Type of resource Text
Extent IX, 129 str. ; 30 cm
File origin Born digital
Access conditions Open access
Terms of use
Created on 2023-10-17 11:46:39