Original scientific paper

https://doi.org/10.17559/TV-20141006121105

Distribuirana analiza zapisa na oblaku primjenom MapReduce

Galip Aydin ; Firat University, Faculty of Engineering, Computer Engineering Department, Elazig, Turkey
Ibrahim R. Hallac orcid.org/0000-0003-0568-3114 ; Firat University, Faculty of Engineering, Computer Engineering Department, Elazig, Turkey

Abstract

U ovom članku opisujemo naš rad na projektiranju na mreži zasnovanog sustava analize distribuiranih podataka koji se zasniva na popularnom MapReduce okviru postavljenom na malom oblaku i razvijenom specijalno za analizu zapisa web poslužnika. Sustav analize zapisa sastoji se od nekoliko čvorova klastera, dijeli velike datoteke zapisa na distribuirani sustav datoteke i brzo ih obrađuje primjenom MapReduce modela programiranja. Klaster se stvara primjenom open source infrastrukture oblaka, čime nam je omogućeno jednostavno povećanje računalne snage dodavanjem dvaju čvorova. Time nam je data mogućnost da jednostavno promijenimo veličinu klastera u skladu s potrebama analize podataka. Primijenili smo MapReduce programe za potrebe osnovne analize zapisa poput frekvencijske analize, otkrivanja greške, otkrivanja prometnog sata (busy hour) itd. kao i za složenije analize za koje je potrebno nekoliko poslova. Sustav može automatski prepoznati i analizirati više vrsta zapisa web poslužnika kao što su Apache, IIS, Squid itd. Primijenjujemo open source projekte za kreiranje infrastrukture oblaka i obavljanje MapReduce poslova.

Keywords

analiza zapisa; Hadoop; MapReduce; računarstvo u oblaku

Hrčak ID:

163745

URI

https://hrcak.srce.hr/163745

Publication date:

16.8.2016.

Article data in other languages: english

Visits: 1.993 *