Original scientific paper

https://doi.org/10.17559/TV-20150126122253

Značajke autodavača s nepromjenjivom točkom

Jingfei Jiang ; Science and Technology on Parallel and Distributed Processing Laboratory, National University of Defense Technology, 109 DeYa Road, ChangSha, Hunan 410073, China
Rongdong Hu ; Science and Technology on Parallel and Distributed Processing Laboratory, National University of Defense Technology, 109 DeYa Road, ChangSha, Hunan 410073, China
Dongsheng Wang ; Science and Technology on Parallel and Distributed Processing Laboratory, National University of Defense Technology, 109 DeYa Road, ChangSha, Hunan 410073, China
Jinwei Xu ; Science and Technology on Parallel and Distributed Processing Laboratory, National University of Defense Technology, 109 DeYa Road, ChangSha, Hunan 410073, China
Yong Dou ; Science and Technology on Parallel and Distributed Processing Laboratory, National University of Defense Technology, 109 DeYa Road, ChangSha, Hunan 410073, China

Abstract

Model autodavača (autoencodera) je jedan od najtipičnijih modela temeljitog učenja koji se najčešće koriste u učenju neupravljačkog obilježja za mnoge aplikacije kao što su prepoznavanje, identifikacija i pretraživanje. Algoritmi autodavača predstavljaju opsežne računarske zadatke. Stvaranje opsežnog modela autodavača može zadovoljiti potrebe u analizi ogromnog broja podataka. Međutim, vrijeme učenja katkada postaje nepodnošljivo, što dovodi do potrebe istraživanja nekih platformi hardvera za ubrzavanje, kao što je FPGA. Verzije softvera autodavača često koriste izraze jednostruke ili dvostruke preciznosti. Ali implementiranje jedinica s promjenjivom točkom je vrlo skupo za postavljanje u FPGA. Kod implementacije autodavača na hardver stoga se često primjenjuje aritmetika nepromjenjive točke. No često se zanemaruje gubitak točnosti i nije proučavan u ranijim radovima. Ima tek nekoliko radova koji se bave akceleratorima koji koriste fiksne širine bita na drugim modelima neuronskih mreža. U našem se radu daje opsežna procjena prikaza preciznosti implikacija nepromjenjive točke na autodavač, postizanje najbolje značajke i područja učinkovitosti. Metoda konverzije formata podataka, metode blokiranja matrice i aproksimacija kompleksnim funkcijama predstavljaju ključne razmatrane čimbenike u skladu s mjestom implementacije hardvera. U radu se procjenjuju metoda simulacije konverzije podataka, blokiranje matrice različitim paralelizmom i jednostavna metoda evaluacije. Rezultati su pokazali da je širina bita s nepromjenjivom točkom uistinu utjecala na učinkovitost autodavača. Višestruki čimbenici mogu postići suprotan učinak. Svaki čimbenik može imati dvostruki učinak odbacivanja "brojnih" informacija i "korisnih" informacija u isto vrijeme. Područje predstavljanja treba pažljivo odabrati u skladu s računarskim paralelizmom. Rezultat je također pokazao da se primjenom aritmetike nepromjenjive točke može garantirati preciznost algoritma autodavača i postići prihvatljiva brzina konvergencije.

Keywords

aritmetika nepromjenjive točke; autodavač; FPGA; temeljito učenje

Hrčak ID:

153158

URI

https://hrcak.srce.hr/153158

Publication date:

19.2.2016.

Article data in other languages: english

Visits: 2.404 *