Podrobno

Train your cake and eat it too! Repurposing collaborative training to tailor LLMs to private data without sharing
ID Radovič, Boris (Avtor), ID Aljahdali, Mohammed (Avtor), ID Canini, Marco (Avtor), ID Pejović, Veljko (Avtor), ID Khayyat, Zuhair (Avtor)

.pdfPDF - Predstavitvena datoteka, prenos (374,25 KB)
MD5: E45BC051716C6DCC50601F8294586511
URLURL - Izvorni URL, za dostop obiščite https://openreview.net/forum?id=FGupKd365r Povezava se odpre v novem oknu

Izvleček
In the emerging field of large language models (LLMs), a significant challenge arises when organizations with vast datasets lack the computational resources to independently train and fine-tune models. This issue stems from privacy, compliance, and resource constraints: organizations cannot share their sensitive data but still need external computational assistance for model training. In this paper, we implement, enhance, and empirically compare several methods, including Split Learning (SL) and select Federated Learning (FL) methods, which enable data-rich yet compute-poor clients to offload LLM training without sharing raw data. Our study evaluates these methods across multiple dimensions, including model quality and training time.

Jezik:Angleški jezik
Ključne besede:energy usage, digital data
Vrsta gradiva:Drugo
Tipologija:1.08 - Objavljeni znanstveni prispevek na konferenci
Organizacija:FRI - Fakulteta za računalništvo in informatiko
Status publikacije:Objavljeno
Različica publikacije:Objavljena publikacija
Leto izida:2024
Št. strani:Str. 1-10
PID:20.500.12556/RUL-166792 Povezava se odpre v novem oknu
UDK:004
COBISS.SI-ID:221660675 Povezava se odpre v novem oknu
Avtorske pravice:
Licenca Creative Commons je navedena na pristajalni strani članka (glej izvorni URL): "Licensed under Crative Commons Atribution 4.0 International". (Datum opombe 24. 1. 2025)
Datum objave v RUL:24.01.2025
Število ogledov:149
Število prenosov:81
Metapodatki:XML DC-XML DC-RDF
:
Kopiraj citat
Objavi na:Bookmark and Share

Gradivo je del monografije

Naslov:Workshop on Efficient Systems for Foundation Models II : ES-FoMo-II 2024
Kraj izida:[Massachusetts
Založnik:OpenReview
Leto izida:2024
COBISS.SI-ID:221659651 Povezava se odpre v novem oknu

Licence

Licenca:CC BY 4.0, Creative Commons Priznanje avtorstva 4.0 Mednarodna
Povezava:http://creativecommons.org/licenses/by/4.0/deed.sl
Opis:To je standardna licenca Creative Commons, ki daje uporabnikom največ možnosti za nadaljnjo uporabo dela, pri čemer morajo navesti avtorja.

Sekundarni jezik

Jezik:Slovenski jezik
Ključne besede:poraba energije, digitalni podatki

Projekti

Financer:Drugi - Drug financer ali več financerjev
Naslov:SDAIA-KAUST AI

Financer:ARRS - Agencija za raziskovalno dejavnost Republike Slovenije
Številka projekta:J2-3047
Naslov:Kontekstno-odvisno približno računanje na mobilnih napravah

Financer:ARRS - Agencija za raziskovalno dejavnost Republike Slovenije
Številka projekta:P2-0098
Naslov:Računalniške strukture in sistemi

Podobna dela

Podobna dela v RUL:
Podobna dela v drugih slovenskih zbirkah:

Nazaj