Reducing cold-start delays in FaaS and serverless environments

Podobnik, Teodor Janez (author), Ciglarič, Mojca (mentor), Pančur, Matjaž (co-mentor)

Serverless computing has gained popularity in the cloud computing model by abstracting infrastructure management. Serverless functions (FaaS) further abstract backend infrastructure, allowing developers to focus solely on function implementation and code execution. Both serverless computing and FaaS rely on container primitives, packaging code and dependencies for flexible deployment. However, "cold starts" introduce significant latency when containers or functions are spawned for the first time. Existing research primarily focuses on container runtime bootstrap and probability based function prewarming, rather than its startup through the existing connection establishment. This thesis proposes appending a unique function identifier in TCP SYN packet header to pre-warm the functions container, using an eBPF library for secure and efficient program execution. The approach is integrated into open-source framework for evaluation and implementation in a real-world use case. The thesis aims to remove cold start delays entirely, thus aligning the response time with warm starts. This synchronization occurs when network latency matches the function's cold-start time in typical scenarios, a common occurrence in cloud environments and heavily trafficked IoT networks.

• Language: English
• Keywords: Networking, Container, Container orchestration, Serverless, FaaS, cold start delay, Cloud Computing, BPF, XDP, OpenFaaS
• Work type: Master's thesis/paper
• Typology: 2.09 - Master's Thesis
• Organization: FRI - Faculty of Computer and Information Science
• Year: 2023
• PID: 20.500.12556/RUL-151108
• COBISS.SI-ID: 169474051
• Publication date in RUL: 29.09.2023

Secondary language

• Language: Slovenian
• Title: Redukcija zakasnitev mrzlih zagonov v FaaS in brezstrežniških okoljih

Abstract

Brezstrežniška infrastruktura je pridobila priljubljenost v modelu računalništva v oblaku s tem, da povsem abstrahira upravljanje infrastrukture. Strežniške funkcije (angl. FaaS) še dodatno abstrahirajo zaledni del infrastrukture, kar omogoča razvijalcem, da se osredotočijo izključno na implementacijo funkcij in izvajanje kode. Tako brezstrežniška infrastruktura kot FaaS temeljita na osnovnih mehanizmih vsebnikov, ki zapakirajo kodo in odvisnosti za prilagodljivo namestitev. Vendar pa "hladni zagoni" povzročajo kritične zakasnitve pri nalaganju vsebnikov ob prvem zagonu. Ta naloga predlaga dodajanje identifikatorja funkcije v paket TCP SYN za predhodno inicializacijo vsebnikov s pomočjo orodja eBPF za učinkovito izvajanje programov. Pristop je integriran z odprtokodnim orodjem za oceno in izvedbo v realnem industrijskem primeru. Najpomembnejši prispevek teze je rešitev, ki popolnoma odpravi zamude pri hladnem zagonu in uskladi odzivni čas z že aktivnimi instancami. Do te uskladitve pride, ko omrežna zakasnitev sovpada s časom hladnega zagona funkcije, kar je pogost pojav v oblakih in visoko obremenjenih omrežjih interneta stvari (angl. Internet of Things or IoT).

• Keywords: Internetno omrežje, kontejner, FaaS, orkestracija kontejnerjev, brezstrežniška infrastruktura, hladni zagon, Računalništvo v oblaku, BPF, XDP, OpenFaaS