20.500.12556/RUL-144592 Primerjava metod za avtomatsko ekstrakcijo podatkov iz spleta Comparison of methods for automatic Web data extraction Namen diplomskega dela je pregledati in ovrednotiti obstoječe metode za avtomatsko ekstrakcijo podatkov s spletnih strani. Tovrstne metode preko analize večjega števila podobnih spletnih strani avtomatsko generirajo ovojnico, ki je sposobna s spletne strani izluščiti podatke, tudi če se struktura strani s časom rahlo spremeni. Rezultati diplomskega dela ponujajo enostaven pregled nad različnimi metodami za pridobivanje podatkov s spletnih strani. To je lahko koristno za uporabnika, ker iz spletne strani izloči moteče oglase in navigacijske menije, ki odvračajo pozornost od vsebine. Kvaliteta posamezne metode se meri v hitrosti in sposobnosti odstranjevanja nerelevantnih podatkov ter ohranjanju tistih, ki so pomembni za dojemanje vsebine. Izvajanje samih metod je avtomatizirano s pomočjo programa v jeziku Python, ki ga lahko poganjamo iz ukazne vrstice. Uporabljani sta obstoječi implementaciji metod RoadRunner in Webstemmer, prikazani pa so rezultati njunega delovanja na petih slovenskih spletnih medijih. Poleg tega je implementirana tudi polavtomatska metoda pridobivanja podatkov s pomočjo ogrodja Scrapy, da lahko vidimo rezultate in kompleksnost v primerjavi s popolnoma avtomatsko metodo. The purpose of this thesis is to review and evaluate existing methods for automatic extraction of data from websites. Such methods analyse several similar web pages in order to generate a wrapper that is capable of extracting data from a web page even if the page layout changes slightly. The result of the thesis is a simple overview of various tools for extracting essential data from journalistic articles, which may prove useful to the reader due to the exclusion of bothersome advertisements and links on websites, which distract the reader from the content. The quality of each method is measured in its speed and ability to discard irrelevant data. The execution of the methods is automated with the help of a program in the programming language Python that we can run from the command line. RoadRunner and Webstemmer are the two implemented methods and we evaluate them based on their ability to extract data from five Slovenian media websites. ekstrakcija spletni pajek ovojnica novice extraction Web crawler wrapper news true false false Slovenski jezik Angleški jezik Diplomsko delo/naloga 2023-03-02 15:35:06 2023-03-02 15:35:12 2023-03-06 11:00:41 0000-00-00 00:00:00 2023 0 0 0000-00-00 NiDoloceno NiDoloceno NiDoloceno 0000-00-00 0000-00-00 0000-00-00 35012 144116739 Martic_Gasper_-_Primerjava_metod_za_avtomatsko_ekstrakcijo_podatkov_iz_spleta.pdf Martic_Gasper_-_Primerjava_metod_za_avtomatsko_ekstrakcijo_podatkov_iz_spleta.pdf 1 137DE7C4759639FDE4928BB0B8FA0BCE 230cb1e1651a420ed3fb655f3cbfef5b92b2b6da47257a46e2a5ec0ac768ff44 6d02d9d0-b907-11ed-a314-00155dcfd717 https://repozitorij.uni-lj.si/Dokument.php?lang=slv&id=167010 Fakulteta za računalništvo in informatiko 0 0 0