Automobile fraud detection with machine learning on graphs

Kalc, Matej (avtor), Šubelj, Lovro (mentor), Gorenc Novak, Marija (komentor)

Every year, millions of car accidents happen. Some of these are staged, faked, or with exaggerated costs. To find fraudsters, insurance companies use custom rules or machine learning algorithms. Most popular machine learning models use tabular data, which is not ideal in the context of automobile fraud detection. Fraud data is best represented as a network of nodes and edges. We compare tabular methods with heterogeneous graph neural networks on the same data set. We propose two new models: a self-supervised heterogeneous graph anomaly detector (HGAD) and a supervised heterogeneous graph fraud detector (HGFD). HGAD is has the highest anomaly detection between anomaly detectors. HGFD achieves 83\% AUC score and 0.018 Brier score, while the best performing tabular model, XGBoost, has 80\% AUC and 0.019 Brier score. The precision of HGFD and XGBoost is similar, but HGFD's precision is higher as the number of claims increases. Training HGFD with inductive learning does not improve results. The optimal solution for automobile fraud detection is a hybrid model, consisting of XGBoost and HGFD, that averages predictions of both models. This model achieves 86\% AUC, 0.017 Brier score and it outperforms the current models in use, offering a 17.4\% improvement in precision over XGBoost.

• Jezik: Angleški jezik
• Ključne besede: Automobile fraud detection, Machine learning on graphs, Deep learning, Semi-supervised learning
• Vrsta gradiva: Magistrsko delo/naloga
• Organizacija: FRI - Fakulteta za računalništvo in informatiko
• Leto izida: 2024
• PID: 20.500.12556/RUL-162604
• Datum objave v RUL: 25.09.2024

Sekundarni jezik

• Jezik: Slovenski jezik
• Naslov: Odkrivanje avtomobilskih goljufij s strojnim učenjem na grafih

Izvleček

Vsako leto se zgodi na milijone prometnih nesreč, vendar so nekatere namerno povzročene ali imajo pretirano visoke stroške. Ekonomske posledice zavarovalniških goljufij niso zanemarljive, zato za zaznavanje teh goljufij uporabljamo izdelana pravila in strojno učenje. Najbolj priljubljeni modeli strojnega učenja delujejo s tabelaričnimi podatki, ki niso idealni za zaznavanje avtomobilskih goljufij. Podatke o goljufijah najbolje predstavimo kot graf vozlišč in povezav. V magistrskem delu primerjamo tabelarične metode s heterogenimi grafovskimi nevronskimi mrežami na istem naboru podatkov. Predlagamo dva nova modela: samonadzorovani heterogeni grafovski detektor anomalij (HGAD) in nadzorovani heterogeni grafovski detektor prevar (HGFD). HGAD ima najvišjo natančnost med detektorji anomalij. HGFD dosega AUC in Brier meri enaki 83\% in 0.018, medtem ko ima najuspešnejši tabelarični model XGBoost AUC in Brier meri enaki 80\% in 0.019. Natančnost modelov HGFD in XGBoost je primerljiva, ampak HGFD-jeva natančnost je višja na dolgi rok. Treniranje modela HGFD z uporabo induktivnega učenja poslabša rezultate. Optimalna rešitev za odkrivanje avtomobilskih goljufij je hibridni model, ki združuje HGFD in XGBoost ter povpreči njune napovedi. Ta doseže AUC in Brier meri enaki 86\% in 0.017. Hibridni model je boljši od trenutno rabljenih modelov, saj njegova natančnost je 17.4\% višja od XGBoosta.

• Ključne besede: Odkrivanje automobilskih goljufij, Strojno učenje na grafih, Globoko učenje, Delno nadzorovano učenje