Zasnova in razvoj spletnega pajka za analizo dinamičnih spletnih aplikacij : diplomsko delo

Šarc, Luka (author), Jurič, Matjaž B. (mentor)

Največji delež v ekosistemu spletnih aplikacij dandanes predstavljajo dinamične spletne aplikacije. Te se med seboj povezujejo v okolju spletnega brskalnika. Uporabniki se povezovanja z zunanjimi ponudniki storitev ne zavedajo, ob tem pa lahko ponudnikom nevede razkrivajo svoje podatke. V ta namen je bil v okviru diplomske naloge zasnovan in implementiran spletni pajek, ki omogoča analizo dinamičnih spletnih aplikacij. Klasični pajki so za to neustrezni, saj preiskujejo semantiko spletnih aplikacij. Naša implementacija pajka izvaja spletno aplikacijo v peskovniku znotraj navideznega spletnega brskalnika. To omogoča sledenje virom, potrebnim za izvedbo aplikacije, in zaznavanje povezovanja spletnih aplikacij. Opravili smo sprehod po 100.000 spletnih aplikacijah. Pokazalo se je, da je stopnja povezovanja visoka - v povprečju se spletna aplikacija povezuje s šestimi ponudniki storitev, s čimer smo potrdili, da predlagana rešitev omogoča učinkovito analizo aktualne problematike.

• Language: Slovenian
• Keywords: spletni pajek, dinamična spletna aplikacija, zunanji ponudniki storitev, peskovnik, integracija, računalništvo, računalništvo in informatika, univerzitetni študij, diplomske naloge
• Work type: Bachelor thesis/paper
• Typology: 2.11 - Undergraduate Thesis
• Organization: FRI - Faculty of Computer and Information Science
• Publisher: [L. Šarc]
• Year: 2014
• Number of pages: 62 str.
• PID: 20.500.12556/RUL-68900
• UDC: 004.7(043.2)
• COBISS.SI-ID: 1536136643
• Publication date in RUL: 10.07.2015

Secondary language

• Language: English
• Title: Design and Development of Web Crawler for Dynamic Web Application Analysis

Abstract

Dynamic web applications represent the largest share in web applications ecosystem. They integrate with each other in a web browser. Users are not aware of connections with third-party service providers and may be unknowingly revealing their browsing data. In this thesis, a web crawler for dynamic web application analysis was designed and implemented to address this problem. Traditional crawlers are not sufficient for described area, since their interest is in semantics of web applications. Our implementation of crawler executes web application in a sandbox within virtual web browser. This allows crawler to track resources needed for the execution and detect integration of web applications. We conducted a crawl through 100,000 web applications. The results revealed high level of web application integration. In average, a web application integrates with six third-party providers. The results confirmed that the proposed solution provides effective analysis for described problem domain.

• Keywords: web crawler, dynamic web application, third-party service providers, sandbox, integration, computer science, computer and information science, diploma