Obdelava velikih količin podatkov v skoraj realnem času

HABJAN, ANŽE (avtor), Žitnik, Slavko (mentor)

V času, ko količina generiranih podatkov na spletu narašča tako hitro kot še nikoli, je toliko bolj pomembno, da je obdelava le teh kar se da hitra. Opišemo implementacijo celostnega sistema, ki bo specializiran za obdelavo pretočnih podatkov v skoraj realnem času, in bo vključeval po eno orodje za vsak del: pridobivanje, obdelava, shranjevanje in vizualizacija. Posamezna orodja so utemeljeno izbrana na podlagi našega realnega primera uporabe sistema, ki je obdelava čivkov (tweet), ki nastanejo na omrežju Twitter v času nogometne tekme. Na primeru uporabe tudi prikažemo analize in vizualizacije, ki jih omogoča implementiran sistem. Zaključimo s prikazom nekaj metrik našega sistema v času obdelave.

• Jezik: Slovenski jezik
• Ključne besede: veliki podatki, obdelava, skoraj realni čas, Twitter, nogomet
• Vrsta gradiva: Diplomsko delo/naloga
• Tipologija: 2.11 - Diplomsko delo
• Organizacija: FRI - Fakulteta za računalništvo in informatiko
• Leto izida: 2021
• PID: 20.500.12556/RUL-130490
• COBISS.SI-ID: 78022915
• Datum objave v RUL: 15.09.2021

HABJAN, ANŽE, 2021, Obdelava velikih količin podatkov v skoraj realnem času [na spletu]. Diplomsko delo. [Dostopano 3 maj 2025]. Pridobljeno s: https://repozitorij.uni-lj.si/IzpisGradiva.php?lang=slv&id=130490

Sekundarni jezik

• Jezik: Angleški jezik
• Naslov: Near real-time processing of large amounts of data

Izvleček

Today, the amount of data generated on the web is growing as fast as ever, therefore it's utmost important that the processing is as fast as possible. We describe the implementation of an end-to-end system, which will specialize in near real-time processing big data, and will include one framework for each part: retrieval, processing, storage and visualization. The individual frameworks are selected on the basis of our use case of the system, which is the processing of tweets generated on social network Twitter during a football match. For our use case, we also show the analyses and visualizations possible by our system. We end with displaying some of the system metrics gathered during our system's execution.

• Ključne besede: big data, processing, near real-time, Twitter, football