Spletno okolje za podatkovno vodeno procesiranje

LEVAR, MIRAN (avtor), Zupan, Blaž (mentor), Helic, Denis (komentor)

V magistrski nalogi je predstavljena zasnova in implementacija pilotne verzije splošne spletne platforme za podatkovno analitiko. Podrobno sta predstavljena strežniški del za hranjenje in obdelavo podatkov ter programski vmesnik, preko katerega spletni odjemalec komunicira s strežnikom. S preprostimi primeri prikažemo, da je platforma razširljiva – enostavno je mogoče razširiti obstoječe ter dodati nove zmogljivosti. Sistem procesiranja podatkov temelji na podatkovno vodenih (angl. dataflow) principih in s pomočjo sprožilcev, ki določajo pogoje pri katerih se lahko proces samodejno prične, omogoča avtomatizacijo procesiranja. Vsak proces lahko razumemo kot črno škatlo z definiranimi vhodi in izhodi, procese pa lahko med seboj smiselno povežemo in omogočimo, da podatki iz izhodov tečejo v vhode naslednjih povezanih procesov. Sistem uporabnikom omogoča, da tudi brez programerskega znanja sestavijo in izvajajo kompleksne podatkovno vodene operacije, saj je abstraktne predstavitve procesov moč med seboj povezati tudi brez poznavanja njihovih podrobnosti.

• Jezik: Angleški jezik
• Ključne besede: spletna aplikacija, več-slojna arhitektura, podatkovno vodeno procesiranje, podatkovna analitika
• Vrsta gradiva: Magistrsko delo/naloga
• Organizacija: FRI - Fakulteta za računalništvo in informatiko
• Leto izida: 2015
• PID: 20.500.12556/RUL-73275
• Datum objave v RUL: 04.11.2015

Sekundarni jezik

• Jezik: Slovenski jezik
• Naslov: Web-based platform for dataflow processing

Izvleček

This Thesis presents the design and implementation of a web-based general-purpose data processing platform. The platform consists of a storage system, processing system, and an application server with an exposed RESTful interface. Through this interface clients, such as web browser applications, can access and control data processing as well as view the results of it. The processing system is inspired by dataflow processing, defining each process as a black box with inputs and outputs. Connecting the outputs to inputs of other processes enables data to flow between processes and allows for creation of processing pipelines. Triggers – conditions under which a process can begin work on available input data – enable automation of the processing pipelines. Such a system allows users who lack programming expertise to easily create and run complex dataflow operations.

• Ključne besede: web application, multi-layered architecture, dataflow processing, data analytics