PRESERVERS ON THE SET OF VARIANCE-COVARIANCE MATRICES

Golubić, Iva (author), Marovt, Janko (mentor)

Preserver is a transformation (a map) that preserves a certain property, or a quantity, or a set, or a relation, etc. of some given structure. One usually wants to determine the general form of such maps. Our focus is on preservers that leave invariant relations among the elements of a given structure $\mathcal{S}$. By relations we mean partial orders and by structure $\mathcal{S}$ we mean the set of all real positive semidefinite (and the set of all Hermitian, i.e. symmetric in the real case) matrices. Partial orders of our interest are the L{\"{o}}wner partial order, the minus partial order, and the star partial order. Motivated by some applications in statistics, especially in the theory of linear models, we investigated new characterizations of these orders and searched for general forms of maps that preserve the mentioned partial orders on $\mathcal{S}$ in both directions. We say that the map $\Phi:\mathcal{S}\rightarrow\mathcal{S}$ preserves the partial order $\leq_{G} $ in both directions (or is a bi-preserver of $\leq_{G}$) when for every $A,B\in\mathcal{S} $, \begin{equation*} A\leq_{G} B\quad\text{if and only if}\quad\Phi(A)\leq_{G} \Phi(B). \end{equation*} A variance-covariance matrix is a generalization of variance of a single random variable to variance of an arranged collection of random variables, i.e. to variance of random vectors. It is known that every variance-covariance matrix is a positive-semidefinite matrix (and vice versa). In the first chapter we recall the notion and basic concepts of linear models such as estimation of parameters and vector linear parametric functions (vector LPFs). For an unbiased linear estimator to be the best one, i.e. to be the BLUE, the estimator must have the smallest variance. In the world of the BLUEs of vector LPFs the \textquotedblleft smallest variance\textquotedblright \ condition among the variance-covariance matrices of the unbiased linear estimators can be expressed in terms of the L{\"{o}}wner partial order. This leads to other applications of the L{\"{o}}wner partial order in the theory of linear models, such as in the theory of comparison of linear models, and hence our motivation to study this partial order along with the minus and the star partial order that also have applications in statistics. Besides recalling basic notions regarding the linear models, in the first chapter we introduce the above mentioned partial orders and the notion of their preservers. We also recall the notion of generalized inverses since the minus and the star partial orders can be induced by them and since some matrix generalized inverses are also used as a tool in the theory of linear models. We provide the research hypothesis and methods of research, i.e. some well known theorems that we use in the proofs of our main results (result of Rothaus, Legi\v{s}a's result about the form of adjacency preserving maps, and the spectral theorem). Our objectives were investigating the mentioned partial orders and finding new properties and equivalent definitions of these orders on the cone of all positive semidefinite real matrices. Also, the aim was to study preserver problems regarding these orders on the same set along with searching for new applications of these orders in statistics, especially in the theory of linear models. Let $H_{n}^{+}(\mathbb{F})$, where $\mathbb{F}=\mathbb{R}$ or $\mathbb{F}=\mathbb{C}$, be the cone of all $n\times n$ positive semidefinite real or complex matrices, respectively. In Chapter 3 we study surjective maps on $H_{n}^{+}(\mathbb{F})$ that preserve the L{\"{o}}wner partial order in both directions. Let us mention that Moln\'{a}r has already described in \cite{Molnar1} the form of bijective maps on the cone of all positive semidefinite $n\times n$ complex matrices that preserve the L{\"{o}}wner partial order in both directions. We show that a similar result holds also in the real case, i.e. we characterize surjective maps (omitting the injectivity assumption) on $H_{n}^{+}(\mathbb{R})$, $n\geq2$, that preserve the L{\"{o}}wner partial order in both directions. As a corollary to this result we describe the form of all surjective bi-preservers of the L{\"{o}}wner partial order on the set of all $n\times n$, $n\geq2$, (real) symmetric matrices. We also present a new application of the L{\"{o}}wner partial order bi-preservers in the theory of comparison of linear statistical models. In Chapter 4 we give a new characterization of the minus partial order on $H_{n}^{+}(\mathbb{F})$, present some new applications of this matrix partial order in statistics, and describe the form of all surjective, additive maps on $H_{n}^{+}(\mathbb{R})$, $n\geq3$, that preserve the minus partial order in both directions. Motivated by another two applications from statistics, we study in Chapter 5 the star partial order and characterize surjective, additive bi-preservers of the star partial order on $H_{n}^{+}(\mathbb{R})$, $n\geq3$. We first introduce a family of partial orders on $H_{n}^{+}(\mathbb{F})$ that satisfy some (general) conditions, study preservers of such orders on $H_{n}^{+}(\mathbb{R})$, and then show that the star partial order belongs to this family. In the last chapter we give an overview of our original scientific results. We also give closure to the dissertation with suggestions for further research.

• Language: English
• Keywords: linear model, preserver, generalized inverse, variance-covariance matrix, positive semidefinite matrix, L{\"{o}}wner partial order, minus partial order, star partial order
• Work type: Doctoral dissertation
• Organization: FE - Faculty of Electrical Engineering
• Year: 2021
• PID: 20.500.12556/RUL-126651
• Publication date in RUL: 30.04.2021

Secondary language

• Language: Slovenian
• Title: OHRANJEVALCI NA MNOŽICI VARIANČNO-KOVARIANČNIH MATRIK

Abstract

V pri\v{c}ujo\v{c}em delu obravnavamo probleme ohranjevalcev, ki se nana\v{s}% ajo na vpra\v{s}anje karakterizacije vseh transformacij na dani strukturi $% \mathcal{S}$, ki (na primer) ohranjajo koli\v{c}ino, ki se nana\v{s}a na elemente v $\mathcal{S}$, ali dolo\v{c}eno mno\v{z}ico elementov v $\mathcal{% S}$ ali dano relacijo med elementi v $\mathcal{S}$. Naj bo $\mathbb{F}$ polje vseh realnih ali kompleksnih \v{s}tevil (torej $\mathbb{F}=\mathbb{R}$ ali $\mathbb{F}=\mathbb{C}$) in ozna\v{c}imo z $M_{m,n}(\mathbb{F})$ mno\v{z}% ico vseh $m\times n$ matrik z elementi iz $\mathbb{F}$. \v{C}e je $m=n$, potem ozna\v{c}imo $M_{n}(\mathbb{F})=M_{n,n}(\mathbb{F})$. Prvi primer re% \v{s}itve problema ohranjevalcev sega v leto 1897, ko je Frobenius opisal obliko vseh linearnih preslikav $\Phi :M_{n}(\mathbb{C})\rightarrow M_{n}(% \mathbb{C})$, ki ohranjajo determinanto, to je \begin{equation*} \det \Phi (A)=\det A \end{equation*}% za vsak $A\in M_{n}(\mathbb{C})$. V zadnjih desetletjih so mnogi avtorji raziskovali razne (ne nujno linearne) ohranjevalce. V doktorski disertaciji se osredoto\v{c}amo na ohranjevalce, ki ohranjajo ustrezne relacije med elementi dane strukture $\mathcal{S}$, pri \v{c}emer je $\mathcal{S}$ mno% \v{z}ica (oziroma sto\v{z}ec) vseh realnih pozitivno semidefinitnih (simetri% \v{c}nih) matrik, obravnavamo pa tudi mno\v{z}ico vseh simetri\v{c}nih (realnih) matrik. Na\v{s}a motivacija za \v{s}tudij problemov ohranjevalcev izhaja iz statistike. Varian\v{c}no-kovarian\v{c}na matrika je posplo\v{s}% itev pojma variance slu\v{c}ajne spremenljivke na varianco urejenega nabora slu\v{c}ajnih spremenljivk, to je na varianco slu\v{c}ajnega vektorja. Znano je, da je vsaka varian\v{c}no-kovarian\v{c}na matrika pozitivno semidefinitna matrika in da je vsaka pozitivno semidefinitna matrika (lahko) varian\v{c}no-kovarian\v{c}na matrika neke multivariacijske porazdelitve (to je nekega slu\v{c}ajnega vektorja). Relacije, ki nas zanimajo, so delne urejenosti (to so urejenosti, ki so refleksivne, antisimetri\v{c}ne in tranzitivne), ki imajo aplikacije v statistiki, predvsem v teoriji linearnih statisti\v{c}nih modelov. Gre za L\"{o}wnerjevo delno urejenost, minus delno urejenost in zvezdica delno urejenost. Naj bo $H_{n}(\mathbb{F)}$ mno\v{z}ica vseh hermitskih (simetri\v{c}nih v realnem primeru) matrik v $M_{n}(\mathbb{F})$ in $H_{n}^{+}(\mathbb{F})$ mno% \v{z}ica (sto\v{z}ec) vseh $n\times n$ pozitivno semidefinitnih (realnih oziroma kompleksnih) matrik v $H_{n}(\mathbb{F)}$. Za $A,B\in H_{n}(\mathbb{F})$ pravimo, da je $A$ pod $B$ (oziroma je dominirana z $B$) glede na L{\"{o}}% wnerjevo delno urejenost in zapi\v{s}emo \begin{equation*} A\leq ^{L}B,\quad \text{\v{c}e je}\quad B-A\in H_{n}^{+}(\mathbb{F})\text{.} \end{equation*}% Drugi dve omenjeni delni urejenosti lahko definiramo na celi mno\v{z}ici $% M_{m,n}(\mathbb{F})$. Vpeljemo ju lahko s pomo\v{c}jo matri\v{c}nih posplo% \v{s}enih inverzov. Spomnimo se, da je posplo\v{s}eni inverz ali psevdoinverz matrike $A\in M_{m,n}(\mathbb{F})$ matrika, ki ime nekatere (vendar ne nujno vse) lastnosti obi\v{c}ajnega inverza (matrike $A\in M_{n}(% \mathbb{F})$ z neni\v{c}elno determinanto). Eden najbolj znanih posplo\v{s}% enih inverzov je Moore-Penroseov inverz. Naj bo $A^{\ast }\in M_{n,m}(\mathbb{F})$ konjugirano transponirana matrika matrike $A\in M_{m,n}(% \mathbb{F})$. Pravimo, da je $X\in M_{n,m}(\mathbb{F})$ Moore-Penroseov inverz matrike $A\in M_{m,n}(\mathbb{F})$, \v{c}e je zado\v{s}\v{c}eno naslednjim \v{s}tirim matri\v{c}nim ena\v{c}bam:% \begin{equation*} AXA=A,\qquad XAX=X,\qquad (AX)^{\ast }=AX\qquad \text{in\qquad }(XA)^{\ast }=XA. \end{equation*}% Izka\v{z}e se, da ima vsaka matrika $A\in M_{m,n}(\mathbb{F})$ Moore-Penroseov inverz $X=A^{\dagger }$ in da je $A^{\dagger }$ enoli\v{c}no dolo\v{c}en. Omenimo \v{s}e en tip posplo\v{s}enih inverzov. Pravimo, da je $% X=A^{-}\in M_{n,m}(\mathbb{F})$ posplo\v{s}eni notranji inverz matrike $A\in M_{m,n}(\mathbb{F})$, \v{c}e je zado\v{s}\v{c}eno ena\v{c}bi $AXA=A$. Vsaka matrika $A\in M_{m,n}(\mathbb{F})$ ima posplo\v{s}eni notranji inverz $A^{-}$% , ki pa ni nujno enoli\v{c}no dolo\v{c}en. Tako Moore-Penroseov inverz kot tudi posplo\v{s}eni notranji inverz se pogosto uporabljata v statistiki (primer aplikacije bomo predstavili v prvem poglavju). Zapi\v{s}imo sedaj definicijo minus delne urejenosti in zvezdica delne urejenosti. Pravimo, da je $A\in M_{m,n}(\mathbb{F})$ pod $% B\in M_{m,n}(\mathbb{F})$ (oziroma je dominirana z $B$) glede na minus delno urejenost in zapi\v{s}emo \begin{equation*} A\leq ^{-}B,\qquad \text{\v{c}e je}\qquad A^{-}A=A^{-}B\qquad \text{in\qquad }AA^{-}=BA^{-} \end{equation*}% za nek posplo\v{s}eni notranji inverz $A^{-}$ matrike $A$. Podobno za $% A,B\in M_{m,n}(\mathbb{F})$ zapi\v{s}emo \begin{equation*} A\leq ^{\ast }B,\quad \text{\v{c}e je}\quad A^{\ast }A=A^{\ast }B\text{ in }% AA^{\ast }=BA^{\ast } \end{equation*}% in imenujemo relacijo $\leq ^{\ast }$\textit{\ }zvezdica delna urejenost. Izka\v{z}e se, da za $A,B\in M_{m,n}(\mathbb{F})$ velja \begin{equation*} A\leq ^{\ast }B\quad \text{natanko tedaj, ko je}\quad A^{\dagger }A=A^{\dagger }B\text{ in }AA^{\dagger }=BA^{\dagger }, \end{equation*}% kjer je $A^{\dagger }\in M_{n,m}(\mathbb{F})$ Moore-Penroseov inverz matrike $A$. Naj bo $\mathcal{S}$ podmno\v{z}ica $M_{n}(\mathbb{F})$ in naj bo $\leq _{G}$ ena od omenjenih matri\v{c}nih delnih urejenosti (to je $\leq ^{L}$, $\leq ^{-},$ $\leq ^{\ast }$) na $\mathcal{S}$. Pravimo, da preslikava $\Phi :% \mathcal{S}\rightarrow \mathcal{S}$ ohranja delno urejenost $\leq _{G}$ v obe smeri (oziroma je bi-ohranjevalec delne urejenosti $\leq _{G}$), \v{c}e za vsak par matrik $A,B\in \mathcal{S}$ velja, da je \begin{equation*} A\leq _{G}B\quad \text{natanko tedaj, ko je}\quad \Phi (A)\leq _{G}\Phi (B). \end{equation*}% L\"{o}wnerjeva delna urejenost $\leq^{L}$ ima \v{s}tevilne aplikacije v statistiki, na primer v teoriji linearnega ocenjevaja, v teoriji primerjave linearnih statisti\v{c}nih modelov in pri \v{s}tudiju verjetnostnih mer. V nekatrih aplikacijah se pojavljajo preslikave, katerih definicijsko obmo\v{c}% je je mo\v{z}ica $H_{n}^{+}(\mathbb{R})$ in ki imajo \textquotedblleft lastnost ohranjanja L{\"{o}}wnerjeve delne urejenosti\textquotedblright. Tako si je naravno zastaviti nalogo karakterizacije transformacij na $H_{n}^{+}(\mathbb{R})$, ki imajo lastnost ohranjanja L{\"{o}}wnerjeve delne urejenosti in morda \v{s}e kak\v{s}no dodatno lastnost. Velja poudariti, da se v moderni teoriji verjetnosti in statistiki pogosto uporablja razne transformacije na elementih varian\v{c}no-kovarian% \v{c}nih matrik s ciljem, da se s tem pridobijo regularizirane cenilke s \textquotedblleft privla\v{c}nimi\textquotedblright\ lastnostmi (kot je redkost matrike, dobro \v{s}tevilo ob\v{c}utljivosti itn.). Dobljene matrike pogosto slu\v{z}ijo kot sestavine statisti\v{c}nih procesov, pri katerih morajo biti (realne) matrike pozitivno semidefinitne. V prvem poglavju predstavimo pojem linearnega statisti\v{c}nega modela in njegove osnovne koncepte, kot sta ocenjevanje parametrov in vektorska linearna parametri\v{c}na funkcija (vektroska LPF). Najbolj\v{s}a linearna nepristranska cenilka, za katero uporabjamo kratico BLUE, je linearna nepristranska cenilka z najmanj\v{s}o varianco. V primeru, ko gre za BLUE vektorske LPF, izrazimo pogoj \textquotedblleft najmanj\v{s}e variance\textquotedblright\ med varian\v{c}no-kovarian\v{c}nimi matrikami nepristranskih linearnih cenilk s pomo\v{c}jo L{\"{o}}wnerjeve delne urejenosti. To vodi do drugih aplikacij L{\"{o}}wnerjeve delne urejenosti v teoriji linearnih modelov, kot je teorija primerjave linearnih modelov, od koder izvira na\v{s}a glavna motivacija za \v{s}tudij tako L{\"{o}}wnerjeve delne urejenosti, kot tudi minus delne urejenosti in zvezdica delne urejenosti. Poleg predstavitve koncepta linearnih modelov definiramo v prvem poglavju omenjene delne urejenosti in njihove ohranjevalce. Predstavimo tudi pojem matri\v{c}nih posplo\v{s}enih inverzov, saj lahko, kot že vemo, po eni strani tako minus kot tudi zvezdica delno urejenost definiramo s pomo\v{c}jo posplo\v{s}enih inverzov, po drugi strani pa se nekateri posplo\v{s}eni inverzi pogosto uporabljajo v teoriji linearnih modelov. V zaklju\v{c}ku prvega poglavja definiramo problem ter predstavimo cilje, raziskovalne hipoteze in metode raziskovanja. Pri tem zapi\v{s}emo nekaj znanih izrekov, ki jih uporabljamo v dokazih glavnih rezultatov (Rothausov izrek, Legi\v{s}in rezultat o preslikavah, ki ohranjajo sosednost, in spektralni izrek). Cilja doktorske disertacije sta raziskati lastnosti in poiskati nove karakterizacije (to je ekvivalentne definicije) omenjenih urejenosti na sto\v{z}cu $H_{n}^{+}(% \mathbb{R})$ vseh pozitivno semidefinitnih realnih matrik. Cilja sta tudi \v{s}% tudirati probleme ohranjevalcev teh urejenosti na mno\v{z}ici $H_{n}^{+}(% \mathbb{R})$ in iskati nove aplikacije dobljenih rezultatov v statistiki, \v{s}e posebej v teoriji linearnih modelov. V tretjem poglavju raziskujemo surjektivne preslikave na $H_{n}^{+}(\mathbb{F% })$, ki ohranjajo L{\"{o}}wnerjevo delno urejenost v obe smeri. Moln\'{a}r je v \cite{Molnar1} opisal obliko bijektivnih bi-ohranjevalcev na sto\v{z}cu vseh pozitivno semidefinitnih $n\times n$ kompleksnih matrik. Z glavnim rezultatom tretjega poglavja, ki sledi, poka\v{z}emo, da velja podoben rezultat tudi v realnem primeru. Preslikava $\varphi :H_{n}^{+}(\mathbb{R}% )\rightarrow H_{n}^{+}(\mathbb{R})$, $n\geq 2$, je surjektivni bi-ohranjevalec L{\"{o}}wnerjeve delne urejenosti $\leq ^{L}$, \v{c}e in samo \v{c}e obstaja obrnljiva matrika $S\in M_{n}(\mathbb{R)}$, da je \begin{equation*} \varphi (A)=SAS^{t}\quad \text{za vsak }A\in H_{n}^{+}(\mathbb{R}). \end{equation*}% Kot posledico tega rezultata opi\v{s}emo obliko vseh surjektivnih bi-ohranjevalcev L{\"{o}}wnerjeve delne urejenosti na mno\v{z}ici $H_{n}(% \mathbb{R})$ vseh $n\times n$, $n\geq 2$, (realnih) simetri\v{c}nih matrik. Predstavimo tudi novo aplikacijo bi-ohranjevalcev L{\"{o}}wnerjeve delne urejenosti v teoriji primerjave linearnih statisti\v{c}nih modelov. V \v{c}etrtem poglavju predstavimo najprej novo karakterizacijo minus delne urejenosti na mno\v{z}ici $H_{n}^{+}(\mathbb{F})$ in prika\v{z}emo nekaj novih aplikacij minus delne urejenosti v statistiki. Opi\v{s}emo tudi obliko vseh surjektivnih, aditivnih preslikav na $H_{n}^{+}(\mathbb{R})$, $n\geq 3$% , ki ohranjajo minus delno urejenost v obe smeri. Izka\v{z}e se, da je preslikava $% \varphi :H_{n}^{+}(\mathbb{R})\rightarrow H_{n}^{+}(\mathbb{R})$, $n\geq 3$, surjektivni, aditivni bi-ohranjevalec minus delne urejenosti $\leq ^{-},$ \v{c}e in samo \v{c}e obstaja obrnljiva matrika $S\in M_{n}(\mathbb{R)}$, da je \begin{equation*} \varphi (A)=SAS^{t}\quad \text{za vsak }A\in H_{n}^{+}(\mathbb{R}). \end{equation*} Motivirani s \v{s}e dvema aplikacijama v statistiki raziskujemo v petem poglavju zvezdica delno urejenost in karakteriziramo surjektivne, aditivne bi-ohranjevalce zvezdica delne urejenosti na $H_{n}^{+}(\mathbb{R})$, $n\geq 3$. Najprej vpeljemo dru\v{z}ino delnih urejenosti, ki zado\v{s}\v{c}a nekim (splo\v{s}nim) pogojem, razi\v{s}\v{c}emo ohranjevalce delnih urejenosti iz te dru\v{z}ine in doka\v{z}emo, da zvezdica delna urejenost pripada tej dru% \v{z}ini. Tako doka\v{z}emo naslednji rezultat. Preslikava $\varphi :H_{n}^{+}(\mathbb{R})\rightarrow H_{n}^{+}(\mathbb{R})$, $n\geq 3$, je surjektivni, aditivni bi-ohranjevalec zvezdica delne urejenosti, \v{c}e in samo \v{c}e obstajata ortogonalna matrika $R\in M_{n}(\mathbb{R})$ in $\lambda >0$, da je \begin{equation*} \varphi (A)=\lambda RAR^{t}\quad \text{za vsak }A\in H_{n}^{+}(\mathbb{R}). \end{equation*} V zadnjem poglavju podamo pregled na\v{s}ih izvirnih znanstvenih rezultatov. Doktorsko disertacijo zaklju\v{c}imo s predlogi za nadaljnje raziskave. \bigskip Rezultati so objavljeni v naslednjih dveh izvirnih znanstvenih \v{c}lankih, ki sta bila objavljena oziroma sprejeta v objavo v uglednih mednarodnih revijah s faktorjem vpliva, in v enem preglednem znanstvenem \v{c}lanku. I. Golubi\'{c}, J. Marovt, Preservers of partial orders on the set of all variance-covariance matrices, Filomat \textbf{34} (2020), No. 9, 3015–3030. I. Golubi\'{c}, J. Marovt, Monotone transformations on the cone of all positive semidefinite real matrices, Math. Slovaca \textbf{70} (2020), No. 3, 733--744. I. Golubi\'{c}, J. Marovt, On some applications of matrix partial orders in statistics, International Journal of Management, Knowledge and Learning \textbf{9} (2020), No. 2, 221--233.

• Keywords: linearni model, ohranjevalec, posplo\v{s}eni inverz, varian\v{c}no-kovarian\v{c}na matrika, pozitivno semidefinitna matrika, L{\"{o}}wnerjeva delna urejenost, minus delna urejenost, zvezdica delna urejenost