Title Machine learning models for detection of targeted features in pediatric medical X-ray images : doctoral dissertation
Title (croatian) Modeli strojnoga učenja za detektiranje ciljanih značajki u pedijatrijskim medicinskim rendgenskim slikama : doktorska disertacija
Author Franko Hržić
Mentor Ivan Štajduhar (mentor)
Mentor Sebastian Tschauner https://orcid.org/0000-0002-7873-9839 (komentor)
Committee member Kristijan Lenac (predsjednik povjerenstva)
Committee member Sandi Ljubić (član povjerenstva)
Committee member Erich Sorantin https://orcid.org/0000-0002-2119-5359 (član povjerenstva)
Granter University of Rijeka Faculty of Engineering Rijeka
Defense date and country 2022-10-24, Croatia
Scientific / art field, discipline and subdiscipline TECHNICAL SCIENCES Computing
Universal decimal classification (UDC ) 004 - Computer science and technology. Computing. Data processing
Abstract U kontekstu ozljeda povezanih s kostima, radiografija je najčešće korištena tehnika neinvazivne
dijagnostike. Standardni postupak uključuje tehničara koji izrađuje kvalitetan radiogram i radiologa koji na temelju dobivene slike postavlja dijagnozu. Kako bi se dijagnostički postupci
učinili lakšima, bržima i preciznijima, razvijaju se sustavi računalne dijagnostike (CADx) koji
pružaju podršku radiolozima u procesu donošenja odluka. Posljednjih godina strojno učenje
(ML) postalo je fokus razvoja i istraživanja CADx sustava jer je sposobno s lakoćom prepoznati
vrlo složene distribucije podataka. Ovo je posebno važno u pedijatrijskoj radiologiji, gdje su
varijacije u podacima često vrlo zahtjevne za modeliranje.
U ovoj doktorskoj disertaciji prvo se istražuje predobrada pedijatrijskih radiograma i otkrivanje ciljanih značajki povezanih s prijelomima zapešća na dječjim radiogramima zapešća. Pregledom skupa podataka pedijatrijskih slika prikupljenih na Odjelu za pedijatrijsku radiologiju,
Odsjeku za radiologiju Medicinskog sveučilišta u Grazu, Austrija, pojavilo se pitanje poravnanja
i orijentacije radiograma. Stoga su poravnanje i orijentacija radiograma postali fokus razvijanja
prvog ML modela.
Nakon poravnavanja i orijentacije slike, potrebno je izdvojiti ciljane značajke koje mogu pomoći radiolozima u otkrivanju prijeloma zapešća na pedijatrijskim medicinskim radiogramima.
Razvijena su dva odvojena ML modela za otkrivanje prijeloma zapešća u djece. Prvi razvijeni model temelji se na segmentaciji kostiju korištenjem lokalne entropije. Drugi model koristi
YOLOv4 konvolucijsku neuronsku mrežu kako bi otklonio nedostatke prvog razvijenog modela.
Osim otkrivanja prijeloma, korisno je procijeniti i starost prijeloma. Stoga je razvijen još
jedan sustav temeljen na dubokom učenju za procjenu starosti prijeloma. Razvijeni multimodalni sustav temelji se na spajanju višestrukih projekcija radiograma (istog slučaja) s informacijama o dobi i spolu pacijenta te pruža neizvjesnost u svojoj odluci. Procjenom neizvjesnosti
svojih odluka, sustav postaje pouzdanijim za stručnjake koji ga koriste.
Konačno, kako bi se poboljšala vidljivost prijeloma i tkiva prekrivenog gipsom tijekom
praćenja cijeljenja prijeloma zapešća, razvijen je sustav temeljen na arhitekturi CycleGAN za
supresiju gipsa na radiogramima. Također, kako bi se razvijeni sustav prikladno vrednovao,
predloženo je metoda rigoroznog kvantitativnog i kvalitativnog vrednovanja.
Uzimajući sve u obzir, spajanje svih razvijenih modela u jedan sustav stvara okosnicu CADx
sustava sposobnog pružiti ključne informacije o pedijatrijskim prijelomima zapešća koje bi
mogle poboljšati dijagnostiku i učiniti cijeli proces manje napornim za radiologe.
Abstract (english) In the context of bone-related injuries, radiography is the most commonly used technique for
noninvasive diagnosis. Standard procedure involves a technician who obtains a high-quality
X-ray image and a radiologist who sets a diagnosis based on the obtained image. To make diagnostic procedures easier, faster and more accurate, computer-aided diagnostics (CADx) systems
are being developed to support the radiologists in their decision-making process. In recent years,
machine learning (ML) has become the focus of CADx systems development and research because it is capable of seamlessly capturing highly complex distributions. This is especially
important in pediatric radiology, where the variations in the data are often very demanding for
modeling.
This doctoral dissertation first investigates preprocessing of pediatric X-ray images and the
detection of targeted features related to wrist fractures on wrist radiographs of children. Inspecting the dataset of pediatric X-ray images provided by the Division of Pediatric Radiology,
Department of Radiology, Medical University of Graz, Austria, the issue of X-ray image alignment and orientation arose. Therefore, the alignment and orientation of X-ray images became
the focus of the first developed ML model.
Following image alignment and orientation, targeted features extraction is needed, such that
would help radiologists detect wrist fractures on pediatric X-ray images. Two separate ML models for pediatric wrist fracture detection were developed. The first developed model was based
on local-entropy bone segmentation, while the second model utilized a YOLOv4 convolutional
neural network to cope with the shortcomings of the first developed model.
Besides fracture detection, it is helpful to estimate the age of the fracture. Therefore, another
deep learning-based system was developed for fracture age estimation. The developed multimodal system based on fusing multiple X-ray projections (of the same case) with a patient’s age
and gender information provides uncertainty in its decision. By estimating uncertainty in its
decisions, the system becomes more trustworthy for the experts who use it.
Finally, to enhance the visibility of the fractures and tissue obstructed by the cast during
the wrist fracture healing monitoring, a CycleGAN-based system was trained for cast suppression in X-ray images. Also, in order to appropriately evaluate the developed system, rigorous
quantitative and qualitative evaluation was proposed.
All things considered, merging all developed models into one system creates a backbone
of a CADx system capable of providing crucial information about pediatric wrist fractures that could improve diagnostics and make the whole process less labored for radiologists.
Keywords
strojno učenje; pretprocesiranje pedijatrijskih radiograma; detekcija fraktura
zapešća na radiogramima; generativne suparničke mreže; računalom-potpomognuto dijagnosticiranje; interpretabilnost neuronskih mrež
Keywords (english)
machine learning; preprocessing of pediatric X-ray images; detection of wrist fractures on X-ray images; generative adversarial networks; computer-aided diagnostics; interpretability of neural network
Language croatian
URN:NBN urn:nbn:hr:190:429587
Promotion 2022
Study programme Title: Postgraduate University Doctoral Study in the area of Engineering Sciences, in the field of Computer Science Study programme type: university Study level: postgraduate Academic / professional title: doktor/doktorica znanosti, područje tehničkih znanosti, polje računarstvo (doktor/doktorica znanosti, područje tehničkih znanosti, polje računarstvo)
Type of resource Text
Extent IX, 55 str. ; 30 cm
File origin Born digital
Access conditions Open access
Terms of use
Created on 2022-12-07 13:43:39