Vision-Language-Action Model for Robotic Manipulation of Textile Objects

Hernandez Cancino estrada, Jose Edgar (avtor), Skočaj, Danijel (mentor), Tabernik, Domen (komentor)

Vision-language-action (VLA) models are end-to-end robot control models that inherit rich perceptual representations from pretrained vision-language foundation models. However, it remains unclear whether these representations are fully exploited during action generation. This work investigates whether task-relevant perceptual information can be recovered from the internal multimodal features of X-VLA and reused to improve robotic control, particularly for the spatial reasoning required to accurately grasp textile objects. We introduce a lightweight visual-thought decoder trained to reconstruct expert-derived perceptual targets from the internal representations of the X-VLA backbone. The recovered information is incorporated in two ways: implicitly as an auxiliary training objective that encourages the backbone to preserve task-relevant structure, and explicitly as guidance tokens that are reintroduced into the action-generation process. The proposed methods are evaluated on cube pickup, cloth pickup and placement, and cloth folding tasks. We compare the original X-VLA model with variants that either regularize its latent representations to preserve task-relevant information or make this information explicitly available during action generation. The results show that explicitly providing task-relevant information can improve policy performance in ambiguous or challenging situations. Across the evaluated tasks, implicit guidance through latent-space regularization produces mixed results, whereas explicit guidance yields improvements on some cloth manipulation tasks. These findings suggest that VLA backbones contain recoverable task-relevant perceptual structure, but that its usefulness depends on how this information is incorporated into the action-generation process and on the characteristics of the manipulation task.

• Jezik: Angleški jezik
• Ključne besede: VLA, ViT, Flow Matching, Robotics, Visual-Language-Action, multi-modal perception, robot manipulation
• Vrsta gradiva: Magistrsko delo
• Organizacija: FRI - Fakulteta za računalništvo in informatiko
• Leto izida: 2026
• PID: 20.500.12556/RUL-190753
• Datum objave v RUL: 03.11.2026

Sekundarni jezik

• Jezik: Slovenski jezik
• Naslov: Vizualno-jezikovno-akcijski model za robotsko manipulacijo s tekstilnimi objekti

Izvleček

Vizualno-jezikovno-akcijski (VLA) modeli so enoviti modeli za vodenje robotov, ki bogate zaznavne predstavitve prevzemajo iz predhodno naučenih vizualno-jezikovnih temeljnih modelov. Vendar še vedno ni jasno, ali se te predstavitve pri generiranju akcij v celoti izkoristijo. V tem delu raziskujemo, ali je mogoče iz notranjih večmodalnih značilk modela X-VLA obnoviti zaznavne informacije, pomembne za izvedbo naloge, ter jih ponovno uporabiti za izboljšanje vodenja robota, zlasti pri prostorskem sklepanju, ki je potrebno za natančno prijemanje tekstilnih objektov. V tem delu predstavimo lahek dekodirnik vizualnega sklepanja, naučen za rekonstrukcijo ekspertno določenih zaznavnih ciljev iz notranjih predstavitev osnovnega modela X-VLA. Obnovljene informacije vključimo na dva načina: implicitno kot pomožni učni signal, ki osnovni model spodbuja k ohranjanju strukture, pomembne za izvedbo naloge, ter eksplicitno v obliki usmerjevalnih žetonov, ki jih ponovno uvedemo v proces generiranja akcij. Predlagane metode ovrednotimo na nalogah pobiranja kock, pobiranja in odlaganja blaga ter prepogibanja blaga. Izvirni model X-VLA primerjamo z različicami, ki bodisi regularizirajo njegove latentne predstavitve, da bi ohranile informacije, pomembne za izvedbo naloge, bodisi omogočijo, da so te informacije med generiranjem akcij eksplicitno dostopne. Rezultati kažejo, da lahko eksplicitno podajanje informacij, pomembnih za izvedbo naloge, izboljša delovanje modela v dvoumnih ali zahtevnih primerih. Pri ovrednotenih nalogah implicitno usmerjanje z regularizacijo latentnega prostora daje mešane rezultate, medtem ko eksplicitno usmerjanje prinaša izboljšave pri nekaterih nalogah manipulacije s tekstilom. Te ugotovitve kažejo, da osnovni modeli VLA vsebujejo zaznavno strukturo, pomembno za izvedbo naloge, ki jo je mogoče obnoviti, vendar je njena uporabnost odvisna od načina vključevanja teh informacij v proces generiranja akcij in od značilnosti manipulacijske naloge.

• Ključne besede: VLA, ViT, ujemanje toka, robotika, vizualno-jezikovno-akcijski modeli, večmodalno zaznavanje, robotska manipulacija