Ivan Racetin, PhD in Technical Sciencess

On 19 June 2020, Ivan Racetin defended his doctoral thesis Anomaly detection on hyperspectral and multispectral digital images of a mine suspected area at the Faculty of Geodesy, University of Zagreb. The commission for the defence of the doctoral thesis comprised Prof. Dr. Mario Brkić, Prof. Dr. Tomislav Bašić, Prof. Dr. Hrvoje Gold from the Faculty of Transport and Traffic Sciences, University of Zagreb, Prof. Dr. Renata Pernar from the Faculty of Forestry, University of Zagreb, and Prof. Dr. Sven Lončarić from the Faculty of Electrical Engineering and Computing, University of Zagreb. The mentor was Asst. Prof. Andrija Krtalić.

The doctoral thesis is divided into seven chapters:

Ivan Racetin was born on 30 January 1990 in Šibenik, where he attended primary and secondary school. After graduating from the Antun Vrančić High School of Natural Sciences and Mathematics, in 2008 he enrolled at the Faculty of Geodesy, University of Zagreb. During his studies, he was awarded scholarships for being an exceptionally gifted student and a scholarship from the University of Zagreb for excellence for the academic year 2012/2013. As the best student with excellent results in all years of undergraduate and graduate studies, he was awarded five Faculty of Geodesy awards. In 2012, he was awarded the Rector's Prize of the University of Zagreb for his work Global Geopotential Models and Their Visualization.

In the last year of his graduate studies, he started working on a European Commission FP7 research and development project Toolbox Implementation for Removal of Anti-personnel Mines, Submunitions and UXO (TIRAMISU). Since 2014, he has been employed at the Faculty of Civil Engineering, Architecture and Geodesy in Split, where he leads or has led exercises in Remote Sensing, State Survey, Photogrammetry, Geodetic Instruments, Geodetic Plans, Map Projections and GIS Applications in Water Resources Management. In the same year, he enrolled in postgraduate doctoral studies in Geodesy and Geoinformatics at the Faculty of Geodesy, University of Zagreb. During 2015 and 2016, as an expert associate, he participated in the project Mine Action after the Flood, Regional Crisis Response, Technology Development and Capacity Building. Since 2019, he has been participating in the Interreg project Monitoring Sea-water intrusion in coastal aquifers and testing pilot projects for its mitigation (MoST). As an author or co-author, he has published over 20 scientific publications, of which five are indexed in CC or SCIE bibliographic databases.

His doctoral thesis consists of 236 A4 pages and includes a summary in Croatian, an extended summary in English, 82 pictures, five tables, a bibliography with 159 titles and nine online sources, five appendices, a list of abbreviations used and the author’s resumé.

The introduction presents the basis and motivation for the work, and the purpose of the research. By reviewing the available literature on humanitarian demining, the author notes there has been insufficient research on the application of anomaly detection methods on multidimensional data collected by remote sensing methods. Furthermore, in most scientific publications, testing anomaly detection methods is performed on elementary and applicatively irrelevant examples. The concepts that are thoroughly analysed in the following chapters are briefly introduced: hierarchical and partition approaches and anomaly detection methods on digital images. By participating in humanitarian demining projects as an active researcher, the candidate gained critical experiences, identified several problems and created the conditions for his scientific research, which he presents through hypotheses and scientific contributions in the first chapter that ends with the structure of the thesis.

The second chapter presents the achievements of previous scientific research in the field in which the applied scientific contribution of this paper has been achieved. The significant problem of explosive devices throughout the world is presented, with particular reference to the situation in the Republic of Croatia, along with the ways in which humanitarian demining has been approached so far. The basic concepts and procedures in humanitarian demining within a broader concept - mine action - are defined, and a comparison is made with conventional military demining. This is followed by an overview of the current state of detection methods and technology in humanitarian demining, with special reference to remote sensing methods. The content of this chapter defines the framework of the field in which the applied scientific contribution of this paper has been made.

The third chapter contains a detailed description of the concepts of multispectral and hyperspectral data collection in remote sensing. In addition, the properties and characteristics of the air and satellite systems whose images were used in this study are listed and explained. After a description of the physical foundations and principles of hyperspectral and multispectral systems, there follow an overview and description of the sensors used in this study.

An overview of state-of-the-art research in the field in which the methodological scientific contribution of this paper has been made is presented in the fourth chapter. The mathematical framework of anomaly detection is defined, and the current state of anomaly detection methods on hyperspectral and multispectral digital images is described in detail. The methods of classification, segmentation and data dimensionality reduction are also described, as well as the detection quality measures that are applied in the thesis. This chapter describes and defines the concept of the Receiver Operating Characteristics (ROC) curve and experimental ROC curves to analyse the results of this work as one of the indicators of detector quality, namely anomaly detection methods on digital hyperspectral and multispectral images.

The fifth chapter describes in detail the concepts of new methods of anomaly detection methods based on hierarchical classification and segmentation, and their improved versions. Based on everything covered in the previous chapters, the preferred properties of anomaly detection methods are listed. This chapter describes and presents two new types of anomaly detection methods: those based on hierarchical classification and those based on hierarchical segmentation. Basic methods are defined, followed by their improved versions in which a module for data dimensionality reduction is implemented. The anomaly detection methods presented and the procedure for their quality assessment are implemented in Python programming language.

The sixth chapter presents the results of implementing the developed anomaly detection methods on hyperspectral and multispectral digital images of the mine suspected area. Targets (reference spectral signatures of munitions and mines) were defined on digital images and the method of implementing them in hyperspectral and multispectral images of the mine suspected area was described. For the analysis of anomaly detection methods on digital hyperspectral and multispectral images of the mine suspected area, images collected from several satellite and air sensors, different spatial resolutions, covering characteristic geomorphological areas of the mine suspected area in the Republic of Croatia, were selected. The geometric shapes of unexploded ordnance or mines and the level of their presence in the scene were the variation parameters during simulations. In order to evaluate the performance of the new detectors, state-of-the-art anomaly detection methods in the programme code were implemented. The chapter concludes with a comparative analysis and results of state-of-the-art methods with the anomaly detection methods developed as part of this doctoral thesis. The advantages and limitations of the implemented workflow for testing anomaly detection methods are critically explained and analysed.

In the seventh chapter, conclusions are drawn about the research conducted, the results achieved and the scientific contributions of the work. In this doctoral thesis, two groups of innovative methods for anomaly detection on hyperspectral and multispectral digital images of a mine suspected area were designed and implemented. One group of methods arose from a hierarchical classification based on the concept of spectral density as a measure of similarity. The second group of methods was based on hierarchical segmentation, which started from an efficient graph-based segmentation. The main scientific contributions of this doctoral research are:

The methodological scientific contributions of this paper include new methods of anomaly detection on hyperspectral and multispectral digital images of a mine suspected area, which are specially tailored for multidimensional data. On the other hand, the applied scientific contribution of this research was achieved in the field of humanitarian demining through remote detection of simulated mines and unexploded ordnance.

Ivan Racetin obranio je 19. lipnja 2020. na Geodetskom fakultetu Sveučilišta u Zagrebu doktorski rad Detekcija anomalija na hiperspektralnim i višespektralnim digitalnim snimkama minski sumnjivog područja. Doktorski rad je obranjen pred povjerenstvom u sastavu: prof. dr. sc. Mario Brkić, prof. dr. sc. Tomislav Bašić, prof. dr. sc. Hrvoje Gold s Fakulteta prometnih znanosti Sveučilišta u Zagrebu, prof. dr. sc. Renata Pernar sa Šumarskog fakulteta Sveučilišta u Zagrebu, i prof. dr. sc. Sven Lončarić s Fakulteta elektrotehnike i računarstva Sveučilišta u Zagrebu. Mentor je bio doc. dr. sc. Andrija Krtalić.

Doktorski rad je izrađen u sedam poglavlja:

Ivan Racetin rođen je 30. siječnja 1990. u Šibeniku, gdje je pohađao osnovnu i srednju školu. Po završetku obrazovanja u Prirodoslovno-matematičkoj gimnaziji Antuna Vrančića, 2008. godine upisao se na Geodetski fakultet Sveučilišta u Zagrebu. Za vrijeme studija nagrađen je stipendijama za posebno nadarene studente i stipendijom Sveučilišta u Zagrebu za izvrsnost za akademsku godinu 2012/2013. Kao najboljem studentu s postignutim odličnim uspjehom na svim godinama preddiplomskog i diplomskog studija, uručeno mu je pet Nagrada Geodetskog fakulteta. Godine 2012. nagrađen je Rektorovom nagradom Sveučilišta u Zagrebu za rad Globalni geopotencijalni modeli i njihova vizualizacija.

Na posljednjoj godini studija započeo je rad na istraživačkom projektu FP7 Europske komisije naziva Toolbox Implementation for Removal of Anti-personnel Mines, Submunitions and UXO (TIRAMISU). Od 2014. godine zaposlen je na Fakultetu građevinarstva, arhitekture i geodezije Sveučilišta u Splitu, gdje održava vježbe iz Daljinskih istraživanja, Državne izmjere, Fotogrametrije, Geodetskih instrumenata, Geodetskih planova, Kartografskih projekcija i Primjene GIS-a u upravljanju vodnim resursima. Iste godine upisao je poslijediplomski doktorski studij geodezije i geoinformatike na Geodetskom fakultetu Sveučilišta u Zagrebu. Tijekom 2015. i 2016. godine, kao stručni suradnik sudjelovao je na projektu Protuminsko djelovanje nakon poplava, regionalni odziv u krizi, razvoj tehnologija i izgradnja kapaciteta. Od 2019. godine sudjeluje na Interreg projektu Monitoring prodora slane vode u obalne vodonosnike i testiranje pilot projekata za smanjenje štetnog utjecaja od zaslanjivanja (MoST). Kao autor ili koautor objavio je više od 20 znanstvenih publikacija, od kojih je pet indeksirano u bibliografskim bazama CC ili SCIE.

Doktorski rad sastoji se od 236 stranica formata A4, a uključuje sažetak na hrvatskom jeziku, prošireni sažetak na engleskom jeziku, 82 slike, 5 tablica, popis literature sa 159 naslova i 9 internetskih izvora, 5 priloga, popis korištenih kratica i životopis autora.

U uvodu navedeni su uzroci, motivacija za izradu rada i svrha provedenih istraživanja. Pregledom dostupne literature o humanitarnom razminiranju doktorand uočava nedovoljnu istraženost primjene metoda detekcije anomalija na višedimenzionalnim podatcima prikupljenim metodama daljinskih istraživanja. Nadalje, iznesena je činjenica kako se u većini znanstvenih publikacija testiranje metoda detekcije anomalija obavlja na elementarnim i aplikativno nerelevantnim primjerima. Tu se uvode pojmovi koji se u nastavku detaljnije analiziraju i istražuju: hijerarhijski i particijski pristupi i metode detekcije anomalija na digitalnim snimkama. Sudjelujući u projektima humanitarnog razminiranja kao aktivan istraživač, pristupnik je prikupio kritička iskustva, identificirao više problema i stvorio uvjete za vlastito znanstveno istraživanje, koje najavljuje kroz hipoteze i znanstvene doprinose u prvom poglavlju koje završava strukturom rada.

U drugom poglavlju navedena su postignuća dosadašnjih znanstvenih istraživanja u području u kojem je ostvaren aplikativni znanstveni doprinos ovog rada. Prikazan je značaj problema eksplozivnih naprava u svijetu s posebnim osvrtom na situaciju u Republici Hrvatskoj te načini na koje je humanitarno razminiranje pristupalo i pristupa rješavanju minskog problema do sada. Definirani su osnovni pojmovi i postupci u humanitarnom razminiranju u okviru šireg pojma – protuminsko djelovanje, te je provedena usporedba s konvencionalnim vojnim razminiranjem. Nakon toga slijedi prikaz suvremenog stanja metoda i tehnologije za detekciju u humanitarnom razminiranju s posebnim osvrtom na metode daljinske detekcije. Sadržaj ovog poglavlja definira okvir područja u kojem je ostvaren aplikativni znanstveni doprinos ovog rada.

Treće poglavlje sadrži detaljan opis koncepata višespektralnog i hiperspektralnog prikupljanja podataka u daljinskim istraživanjima. Pored toga, navedena su i objašnjena svojstva i karakteristike zračnih i satelitskih sustava čije su snimke korištene u ovom istraživanju. Nakon opisa fizikalnih temelja i principa rada hiperspektralnih i višespektralnih sustava te isticanja njihovih razlika, slijedi pregled i opis senzora koji su primijenjeni u ovom istraživanju.

Pregled dosadašnjih istraživanja u području u kojem je ostvaren metodološki znanstveni doprinos ovog rada prikazan je u četvrtom poglavlju. U tom je poglavlju definiran matematički okvir detekcije anomalija, a detaljno je opisano i trenutno stanje metoda detekcije anomalija na hiperspektralnim i višespektralnim digitalnim snimkama. Također su opisane i metode klasifikacije, segmentacije i redukcije dimenzija podataka, kao i mjere kvalitete detekcije koje su primijenjene u ovom radu. U ovom poglavlju se opisuje i definira pojam krivulje ROC (Receiver Operating Characteristics – ROC) i eksperimentalne krivulje ROC koje se koriste u analizi rezultata ovog rada kao neki od pokazatelja kvalitete detektora, tj. metoda detekcije anomalije na digitalnim hiperspektralnim i višespektralnim snimkama.

U petom poglavlju detaljno su opisani koncepti novih metoda detekcije anomalija koje se temelje na hijerarhijskoj klasifikaciji i segmentaciji, te njihove unaprijeđene inačice. Na osnovi svega navedenog u prethodnim poglavljima, navedena su poželjna svojstva koja trebaju zadovoljavati metode detekcije anomalija. U ovom poglavlju su detaljno opisane i prikazane dvije kategorije izvornih metoda detekcije anomalija: metode temeljene na hijerarhijskoj klasifikaciji i metode temeljene na hijerarhijskoj segmentaciji. Definirane su osnovne metode, a zatim unaprijeđene verzije u kojima je primijenjen modul za redukciju dimenzija podataka. Predstavljene metode detekcije anomalija i postupak ocjene njihove kvalitete programirane su u jeziku Python.

U šestom poglavlju prikazani su rezultati primjene razvijenih metoda detekcije anomalija na hiperspektralnim i višespektralnim digitalnim snimkama minski sumnjivog područja. Definirani su ciljevi (referentni spektralni potpisi ubojnih sredstava i mina) na digitalnim snimkama i opisan način na koji su primijenjeni u hiperspektralne i višespektralne snimke minski sumnjivog područja. Za analizu metoda detekcije anomalija na digitalnim hiperspektralnim i višespektralnim snimkama minski sumnjivog područja odabrane su snimke prikupljene s više satelitskih i zračnih senzora, različite prostorne rezolucije, koje pokrivaju karakteristična geomorfološka područja minski sumnjivog područja u Republici Hrvatskoj. Geometrijski oblici ubojnih sredstava ili mina te njihov udio u sceni su bili varijacijski parametri prilikom simulacija. Kako bi se stekao dojam uspješnosti novih detektora, primijenjene su i ostale suvremene metode detekcije anomalija. Poglavlje završava usporedbom performansi i rezultata suvremenih metoda s metodama detekcije anomalija koje su razvijene u sklopu ovog doktorskog rada. Prednosti i ograničenja ovog načina ispitivanja metoda detekcije anomalija kritički su obrazloženi i analizirani.

U sedmom poglavlju izvode se zaključci o svim provedenim istraživanjima, postignutim rezultatima i znanstvenim doprinosima rada. U ovom doktorskom radu osmišljene su i primijenjene dvije skupine inovativnih metoda detekcije anomalija na hiperspektralnim i višespektralnim digitalnim snimkama minski sumnjivog područja. Jedna skupina metoda temelji se na hijerarhijskoj klasifikaciji koja se zasniva na konceptu spektralne gustoće kao mjere sličnosti. Druga skupina metoda temelji se na hijerarhijskoj segmentaciji koja polazi od efikasne metode segmentacije na osnovi teorije grafova. Glavni znanstveni doprinosi ovog doktorskog istraživanja su:

Metodološki znanstveni doprinosi ovog rada su nove metode detekcije anomalija na hiperspektralnim i višespektralnim digitalnim snimkama minski sumnjivog područja, koje su posebno prilagođene višedimenzionalnim podatcima. S druge strane, aplikativni znanstveni doprinos ovog istraživanja ostvaren je u području humanitarnog razminiranja kroz daljinsku detekciju simuliranih mina i ubojnih sredstava.