20.500.12556/RUL-29969 Strojno učenje v porazdeljenem okolju z uporabo paradigme MapReduce magistrsko delo Machine learning algorithms in distributed environment with MapReduce paradigm Implementacija algoritmov strojnega učenja v porazdeljenem okolju prinaša več prednosti, kot sta zmožnost obdelave velikih množic podatkov in linearna pospešitev izvajanja z dodatnimi računskimi enotami. V magistrski nalogi opišemo paradigmo MapReduce, ki omogoča porazdeljeno računanje na računalniški gruči, in ogrodje Disco, ki ga implementira. Predstavimo sumarno obliko, ki je pogoj za učinkovito implementacijo algoritmov strojnega učenja s paradigmo MapReduce in opišemo implementacije izbranih algoritmov. Poleg tega predstavimo nove različice porazdeljenih naključnih gozdov, ki gradijo model na podmnožicah podatkov. Implementirane algoritme ovrednotimo s primerjavo z uveljavljenimi programi strojnega učenja. Magistrsko delo zaključimo z opisom vključitve implementiranih algoritmov v platformo ClowdFlows, ki omogoča sestavljanje, izvajanje in deljenje interaktivnih delotokov podatkovnega rudarjenja. S tem omogočimo obdelavo velikih paketnih podatkov z vizualnim programiranjem. Implementation of machine learning algorithms in a distributed environment ensures us multiple advantages, like processing of large datasets and linear speedup with additional processing units. We describe the MapReduce paradigm, which enables distributed computing, and the Disco framework, which implements it. We present the summation form, which is a condition for efficient implementation of algorithms with the MapReduce paradigm, and describe the implementations of the selected algorithms. We propose novel distributed random forest algorithms that build models on subsets of the dataset. We compare time and accuracy of the algorithms with the well recognized data analytics tools. We end our master thesis by describing the integration of the implemented algorithms into the ClowdFlows platform, which is a web platform for construction, execution and sharing of interactive workflows for data mining. With this integration, we enabled processing of big batch data with visual programming. MapReduce porazdeljeno računanje Disco strojno učenje sumarna oblika DiscoMLL porazdeljeni naključni gozdovi ClowdFlows računalništvo računalništvo in informatika magisteriji MapReduce distributed computing Disco machine learning summation form DiscoMLL distributed random forest ClowdFlows computer science computer and information science master's degree true false false R. Orač Slovenski jezik Angleški jezik Magistrsko delo/naloga 2014-10-22 15:20:04 2014-10-22 15:20:05 2024-08-14 09:31:04 0000-00-00 00:00:00 2014 0 0 123 str. 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 14105 1536017347 Orac_Roman_-_Strojno_ucenje_v_porazdeljenem_okolju_z_uporabo_paradigme_MapReduce.pdf Orac_Roman_-_Strojno_ucenje_v_porazdeljenem_okolju_z_uporabo_paradigme_MapReduce.pdf 1 D22E1030CA8CADEFD767786AED062F08 6966f374abe0c75a87f4edfc54e2572d3a6c8bd4c027c143d99b674ad23ca2b7 305dacbc-a1ad-11eb-a523-00155dcfd717 20.500.12556/rul/6c360582-f842-4ce6-8f27-b3cf6fd1ee34 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=29964 Fakulteta za računalništvo in informatiko 0 0 0