A diffusion model for few-shot object counting

Šuštar, Grega (avtor), Kristan, Matej (mentor), Pelhan, Jer (komentor)

Low-shot object counting addresses estimating the number of previously unobserved objects in an image using only few or no annotated test-time exemplars. A considerable challenge for modern low-shot counters are dense regions with small objects. While total counts in such situations are typically well addressed by density-based counters, their usefulness is limited by poor localization capabilities. This is better addressed by point-detectionbased counters, which are based on query-based detectors. However, due to limited number of pre-trained queries, they underperform on images with very large numbers of objects, and resort to ad-hoc techniques like upsampling and tiling. We propose CoDi, the first latent diffusion-based low-shot counter that produces high-quality density maps on which object locations can be determined by non-maxima suppression. Our core contribution is the new exemplar-based conditioning module that extracts and adjusts the object prototypes to the intermediate layers of the denoising network, leading to accurate object location estimation. On FSC147 benchmark, CoDi outperforms state-of-the-art by 15% MAE, 13% MAE and 10% MAE in the few-shot, one-shot, and reference-less scenarios, respectively, and sets a new state-of-the-art on the MCAC benchmark by outperforming the top method by 44% MAE.

• Jezik: Angleški jezik
• Ključne besede: Low-shot counting, diffusion models, diffusion model conditioning, computer vision
• Vrsta gradiva: Magistrsko delo/naloga
• Tipologija: 2.09 - Magistrsko delo
• Organizacija: FRI - Fakulteta za računalništvo in informatiko
• Leto izida: 2025
• PID: 20.500.12556/RUL-173966
• COBISS.SI-ID: 254280707
• Datum objave v RUL: 25.09.2025

Sekundarni jezik

• Jezik: Slovenski jezik
• Naslov: Difuzijski model za štetje objektov z malo učnimi primeri

Izvleček

Štetje objektov z malo učnimi primeri naslavlja problem ocenjevanja števila objektov na sliki, kjer so kategorije objektov v času inference neznane (tj. niso bile prisotne v času treniranja). Velik izziv za sodobne števce objektov z malo učnimi primeri so goste regije z majhnimi objekti. Čeprav globalni števci, ki temeljijo na gostotnih mapah, običajno dobro ocenijo skupno število objektov v takšnih situacijah, je njihova uporabnost omejena zaradi slabe lokalizacijske sposobnosti. Ta problem bolje naslavljajo metode za zaznavanje točke, ki temeljijo na poizvedovalnih detektorjih. Vendar pa zaradi omejenega števila vnaprej naučenih poizvedb te metode dosegajo slabše rezultate na slikah z zelo velikim številom objektov in se zatekajo h tehnikam, kot sta povečava in razdeljevanje slike na več delov. V tem delu predlagamo CoDi, prvi števec za štetje objektov z malo učnimi primeri, ki temelji na latentnih difuzijskih modelih in generira visokokakovostne gostotne mape, na katerih je možno razbrati lokacije objektov z enostavnim iskanjem lokalnih maksimumov. Naš glavni prispevek je nov modul za pogojevanje na podlagi podanih primerkov objektov, ki izlušči in prilagaja prototipe objektov na vsaki plasti difuzijske mreže. To pripelje do bolj natančnih napovedi lokacij objektov. Na podatkovni zbirki FSC147, CoDi presega trenutno najboljše metode za 15% MAE v scenarijih štetja objektov z malo učnimi primeri, za 13% MAE v scenarijih z enim podanim primerkom in 10% MAE v scenarijih brez podanih primerkov. Poleg tega preseže trenutno najsodobnejšo metodo na podatkovni zbirki MCAC za 44% MAE in s tem postane nov najsodobnejši števec.

• Ključne besede: Štetje z malo učnimi primeri, difuzijski modeli, pogojevanje diffuzijskih modelov, računalniški vid