Zajem in procesiranje podatkov s spleta

BALAŽIC, MARKO (avtor), Bajec, Marko (mentor)

Uporabniki svetovnega spleta se dnevno soočamo z iskanjem informacij. Pri iskanju le teh so nam v veliko pomoč spletni iskalniki, ki nam ob vnosu poizvedbe vrnejo številne rezultate. Kljub temu da so ti zadetki odlično izbrani, moramo za iskanje relavantne informacije pregledati število strani. V diplomskem delu sem se ukvarjal z reševanjem tega problema. 
Razvil sem spletno aplikacijo, ki združuje informacije, pridobljene iz različnih domen. Na nadzorni plošči ima tako uporabnik enoten vpogled nad odrezki, ki predstavljajo dele iz različnih strani. Odrezke lahko uporabnik dodaja preko razširitve ali pa jih ureja. Nastavi si lahko tudi alarme, preko katerih ga sistem obvešča o spremembah, ki se zgodijo. 
 Sistem sem realiziral s pomočjo spletnih pajkov, ki v ozadju aplikacije luščijo podatke in jih shranjujejo v podatkovni bazi. Aplikacija potem te podatke na podlagi pravil predeluje v obvestila.

• Jezik: Slovenski jezik
• Ključne besede: pajek, luščenje, aplikacija, servis, razširitev, obvestilo
• Vrsta gradiva: Diplomsko delo/naloga
• Organizacija: FRI - Fakulteta za računalništvo in informatiko
• Leto izida: 2015
• PID: 20.500.12556/RUL-72452
• Datum objave v RUL: 18.09.2015

Sekundarni jezik

• Jezik: Angleški jezik
• Naslov: Extraction and processing data from the web

Izvleček

Web users are searching information on the internet on daily basis. Easiest way to acquire data from the internet is by using search engines, that provide us with many different results. Despite the fact these results are being well chosen for us, there is still a great deal of filtering involved when looking for vital information. In my thesis I have also dealt with solving this problem myself. I wrote a web application in which I merged the information from several domains. The application’s dashboard enables the user a complete overview of snippets from various websites. The user can add and edit the snippets themselves. One can set up alarms through which the system informs the user of changes that have occurred. I implemented the system with the help of web crawlers that scrape data and saves it to a database.

• Ključne besede: spider, scraping, application, servis, extension, notification