Učinkovito preiskovanje polnotekstovnih podatkov v splošnonamenskih podatkovnih sistemih

Štempelj, Blaž (author), Kukar, Matjaž (mentor)

Cilj diplomske naloge je pregled in vrednotenje možnosti, ki nam ji za delo s teksti v naravnem jeziku ponujajo splošnonamenski sistemi za upravljanje s podatkovnimi bazami. V prvem delu opišemo slovenska korpusa ccKres in ccGigafid, shemo shranjevanja tekstov iz korpusov v SUPB-je MariaDB, PostgreSQL in MongoDB ter polnotekstovnim indeksov v posameznem SUPB-ju. Vendar podpora slovenščini še vedno ni tam kjer bi želeli. MariaDB nam omogoča le definicijo seznama nepomembnih besed, medtem kot pri MongoDB še tega ne moremo narediti. Upanje ponuja PostgreSQL, kjer z izdevalo lastne konfiguracije lahko omogočimo uporabo leksemov in s tem boljše željene rezultate. V drugem delu testiramo performanse SUPB-jev na primeru kolokacije besed, kjer rezultate predstavimo tako tabelarično kot tudi z uporabo grafov. Rezultati pokažejo, da je za kolokacijo besed naša najboljša izbira MongoDB.

• Language: Slovenian
• Keywords: MySQL, MariaDB, PostgreSQL, MongoDB, polnotekstovno iskanje
• Work type: Bachelor thesis/paper
• Organization: FRI - Faculty of Computer and Information Science
• Year: 2016
• PID: 20.500.12556/RUL-81580
• Publication date in RUL: 18.04.2016

Secondary language

• Language: English
• Title: Efficient full-text search in general-purpose database systems

Abstract

The goal of the thesis is the review and evaluation of options that database management systems support when working with natural language texts. In the first part we describe the slovenian corpuses ccKres and ccGigafida, the database structure of MariaDB, PostgreSQL, MongoDB and their use of full-text indexes. But the support the slovenian language still isn't all that great. MariaDB supports only the use of stop words, while MongoDB doesn't even support those. With a little work, PostgreSQL enables us to define custom made configurations which enable the use of lexemes and more fine tuned results. In the second part of this thesis we test the performance of each DBMS by using colocation. Results are presented by using tables and graphs. The final results also show that for colocation the best choice is to use MongoDB.

• Keywords: MySQL, MariaDB, PostgreSQL, MongoDB, full-text search