Web-based platform for dataflow processing : master's thesis

Levar, Miran (author), Zupan, Blaž (mentor), Helic, Denis (comentor)

This Thesis presents the design and implementation of a web-based general-purpose data processing platform. The platform consists of a storage system, processing system, and an application server with an exposed RESTful interface. Through this interface clients, such as web browser applications, can access and control data processing as well as view the results of it. The processing system is inspired by dataflow processing, defining each process as a black box with inputs and outputs. Connecting the outputs to inputs of other processes enables data to flow between processes and allows for creation of processing pipelines. Triggers – conditions under which a process can begin work on available input data – enable automation of the processing pipelines. Such a system allows users who lack programming expertise to easily create and run complex dataflow operations.

• Language: English
• Keywords: web application, multi-layered architecture, dataflow processing, data analytics
• Work type: Master's thesis/paper
• Typology: 2.09 - Master's Thesis
• Organization: FRI - Faculty of Computer and Information Science
• Publisher: [M. Levar]
• Year: 2015
• Number of pages: 77 str.
• PID: 20.500.12556/RUL-73275
• COBISS.SI-ID: 1536640963
• Publication date in RUL: 04.11.2015

Secondary language

• Language: Slovenian
• Title: Spletno okolje za podatkovno vodeno procesiranje

Abstract

V magistrski nalogi je predstavljena zasnova in implementacija pilotne verzije splošne spletne platforme za podatkovno analitiko. Podrobno sta predstavljena strežniški del za hranjenje in obdelavo podatkov ter programski vmesnik, preko katerega spletni odjemalec komunicira s strežnikom. S preprostimi primeri prikažemo, da je platforma razširljiva – enostavno je mogoče razširiti obstoječe ter dodati nove zmogljivosti. Sistem procesiranja podatkov temelji na podatkovno vodenih (angl. dataflow) principih in s pomočjo sprožilcev, ki določajo pogoje pri katerih se lahko proces samodejno prične, omogoča avtomatizacijo procesiranja. Vsak proces lahko razumemo kot črno škatlo z definiranimi vhodi in izhodi, procese pa lahko med seboj smiselno povežemo in omogočimo, da podatki iz izhodov tečejo v vhode naslednjih povezanih procesov. Sistem uporabnikom omogoča, da tudi brez programerskega znanja sestavijo in izvajajo kompleksne podatkovno vodene operacije, saj je abstraktne predstavitve procesov moč med seboj povezati tudi brez poznavanja njihovih podrobnosti.

• Keywords: spletna aplikacija, večslojna arhitektura, podatkovno vodeno procesiranje, podatkovna analitika