Povečevanje učinkovitosti izvajanja nalog s sočasnim delnim dodeljevanjem virov v rahlo sklopljenih računalniških strukturah : doktorska disertacija

Cankar, Matija (author), Lotrič, Uroš (mentor)

Področje porazdeljenih računalniških infrastruktur v računalništvu ni novost, a v industriji in akademskih krogih še vedno žanje veliko zanimanja. Močnejši računalniki, boljša omreženost in hitrejše povezave ter zahtevna porazdeljena opravila pospešujejo razcvet porazdeljenega računalništva. Veliko število računalnikov, povezanih v eno omrežje, ponuja uporabnikom dodatno računsko moč, kadarkoli jo potrebujejo. Toda tak sistem ni poceni in njegovo vzdrževanje ni preprosto, zato so lahko stroški z njim neupravičeno visoki, če infrastruktura ni učinkovito izkoriščena. Trenutno najzanimivejši obliki porazdeljenih sistemov sta omrežno računalništvo in računalništvo v oblaku. V tej doktorski disertaciji pod drobnogled vzamemo pogoste načine upravljanja z viri v obeh omenjenih oblikah. Proučimo pristope razvrščanja na omrežjih s porazdeljenim in centralnim upravljanjem infrastrukture ter izpostavimo ključne lastnosti opravil, ki se pogosto izvajajo na porazdeljeni infrastrukturi. V doktorskem delu predstavimo prednosti razvrščanja opravil, ki lahko prilagodijo svoje delovanje količini dodeljenih virov, in predlagamo dva pristopa razvrščanja. Prvi omogoča sočasno dodeljevanje virov opravilom v porazdeljeni infrastrukturi s porazdeljenim upravljanjem z viri, kar pomeni, da hkrati teče več avtonomnih razvrščevalnikov, ki nimajo globalnega pogleda na stanje vseh virov na vozliščih. Pri tem pristopu se omejimo na razvrščevalnike, ki v danem trenutku v sistem umeščajo zadnje prispelo opravilo. Predlagani pristop podpira kolektivne zahteve, to so zahteve po množici vozlišč, ki morajo kot celota ugoditi tem zahtevam. Pristop smo implementirali za sistem XtreemOS ter preskusili njegovo delovanje v realnem in umetnem okolju. Rezultati potrjujejo, da s pristopom računsko infrastrukturo obremenimo varčneje, hkrati pa se opravila začnejo izvajati ob zgodnejšem času. Cena izboljšav je nekoliko daljše trajanje iskanja primernih vozlišč. Drugi pristop predvideva odloženo dodeljevanje virov opravilom v porazdeljeni infrastrukturi s centralnim upravljanjem z viri, kar pomeni, da imamo le en razvrščevalnik, ki v danem trenutku umešča več opravil sočasno. Predlagali smo preiskovanje opravil v paketih in hkratno prilagajanje opravil po virih tako, da izboljšamo njihovo sobivanje in posledično učinkovitost izrabe vozlišč. Predlagani pristop smo implementirali tako, da deluje skupaj z razvrščevalnikom Haizea, in preskusili delovanje. Rezultati potrjujejo, da lahko s prilagajanjem manjše množice opravil izboljšamo učinkovitost izrabe celotne računske infrastrukture, saj prihranki pri tem več kot odtehtajo dodatno delo prilagajanja opravil. Predlagana pristopa razvrščevalnikom omogočata boljši izkoristek infrastrukture in večjo verjetnost, da bo razvrščevalnik našel primerne vire za opravilo. Z opisi pristopov in poskusi, predstavljenimi v tem delu, prispevamo k oblikovanju novih rešitev za razvrščevalnike na področju omrežnega in oblačnega računalništva, v zaključkih pa navajamo tudi nekatere mogoče razširitve.

• Language: Slovenian
• Keywords: porazdeljeni sistemi, upravljanje z viri, razvrščanje, omrežno računalništvo, računalništvo v oblaku, računalništvo, disertacije
• Work type: Dissertation
• Typology: 2.08 - Doctoral Dissertation
• Organization: FRI - Faculty of Computer and Information Science
• Publisher: [M. Cankar]
• Year: 2014
• Number of pages: 100 str.
• PID: 20.500.12556/RUL-68846
• UDC: 004.7(043.3)
• COBISS.SI-ID: 10770260
• Publication date in RUL: 10.07.2015

Secondary language

• Language: English
• Title: Increasing efficiency of job execution with resource co-allocation in distributed computer systems

Abstract

The field of distributed computer systems, while not new in computer science, is still the subject of a lot of interest in both industry and academia. More powerful computers, faster and more ubiquitous networks, and complex distributed applications are accelerating the growth of distributed computing. Large numbers of computers interconnected in a single network provide additional computing power to users whenever required. Such systems are, however, expensive and complex to manage, which can lead to unduly high expenses unless the infrastructure is efficiently utilised. Currently the most attractive forms of distributed systems are grid and cloud computing. In this dissertation we review some of the resource management approaches commonly used in grid and cloud computing. We examine scheduling approaches in systems with distributed and centralised infrastructure management and highlight the key properties of the applications for which distributed infrastructures are typically used. We present the advantages of scheduling flexible jobs which can scale themselves to the amount of allocated resources, and propose two scheduling approaches. The first approach supports co-allocation of computer resources to jobs on distributed infrastructures with distributed resource management. The latter implies that the system can use multiple autonomous schedulers, which do not have global control over the state of the resources on the nodes. We focus on schedulers that only map a single job to the infrastructure at a time. We propose an approach that supports collective demands, i.e. requests for a set of nodes that must collectively meet the specified demands for resources. We implemented this approach in the XtreemOS operating system and evaluated it in real and simulated environments. The results show that the use of collective demands extends search times, but this is compensated by the fact that the scheduled jobs load the infrastructure more sparingly and allow the jobs to start earlier. The second approach is applicable to offline resource scheduling in distributed infrastructures with global control over the resources. In other words, there is a single central scheduler that can schedule a whole set of jobs simultaneously. For such a set-up we propose analysing the jobs in a batch in order to pair and scale them into co-located subsets and thus improve utilisation. We implemented the proposed approach to run with the Haizea scheduler and evaluated its activity. The results show that the adjusting of a small job subset improves the utilisation of the infrastructure and the savings obtained more than outweigh the extra work needed for the adjusting. The proposed approaches allow the schedulers to better utilise the infrastructure and increase the likelihood of finding the appropriate resources for the job. Through the approaches described and experiments presented, we contribute to the formulation of new solutions for schedulers in the fields of grid and cloud computing. Some possible extensions are given in the conclusions.

• Keywords: distributed systems, resource management, scheduling, grid computing, cloud computing, doctoral dissertations, theses