Tehnički vjesnik, Vol. 23 No. 4, 2016.
Izvorni znanstveni članak
https://doi.org/10.17559/TV-20141006121105
Distribuirana analiza zapisa na oblaku primjenom MapReduce
Galip Aydin
; Firat University, Faculty of Engineering, Computer Engineering Department, Elazig, Turkey
Ibrahim R. Hallac
orcid.org/0000-0003-0568-3114
; Firat University, Faculty of Engineering, Computer Engineering Department, Elazig, Turkey
Sažetak
U ovom članku opisujemo naš rad na projektiranju na mreži zasnovanog sustava analize distribuiranih podataka koji se zasniva na popularnom MapReduce okviru postavljenom na malom oblaku i razvijenom specijalno za analizu zapisa web poslužnika. Sustav analize zapisa sastoji se od nekoliko čvorova klastera, dijeli velike datoteke zapisa na distribuirani sustav datoteke i brzo ih obrađuje primjenom MapReduce modela programiranja. Klaster se stvara primjenom open source infrastrukture oblaka, čime nam je omogućeno jednostavno povećanje računalne snage dodavanjem dvaju čvorova. Time nam je data mogućnost da jednostavno promijenimo veličinu klastera u skladu s potrebama analize podataka. Primijenili smo MapReduce programe za potrebe osnovne analize zapisa poput frekvencijske analize, otkrivanja greške, otkrivanja prometnog sata (busy hour) itd. kao i za složenije analize za koje je potrebno nekoliko poslova. Sustav može automatski prepoznati i analizirati više vrsta zapisa web poslužnika kao što su Apache, IIS, Squid itd. Primijenjujemo open source projekte za kreiranje infrastrukture oblaka i obavljanje MapReduce poslova.
Ključne riječi
analiza zapisa; Hadoop; MapReduce; računarstvo u oblaku
Hrčak ID:
163745
URI
Datum izdavanja:
16.8.2016.
Posjeta: 1.958 *