A híres magyar nővel csalhatta meg a királynőt Fülöp herceg. Bár II. Erzsébet férje volt az egyetlen, aki igazán közel került a királynő szívéhez, ez a kötelék nem volt mentes botrányoktól.
A történész Dr. Piers Brendon szerint Fülöp herceg nehezen viselte a monogámiát, és sokáig a playboyok életét élte barátaival, gyakran mulatva meztelen nők és prostituáltak társaságában. A palota, élén az anyakirálynővel, rettegett a botrányoktól, amit Fülöp úgy próbált megoldani, hogy anyósa szobáiban lekapcsoltatta a fűtést, ezzel kényszerítve őt, hogy elhagyja a palotát.
Fülöp herceg gyakran flörtölt híres nőkkel, mint például Jackie Kennedy, és állítólag viszonya volt híres színésznőkkel, mint Gábor Zsazsa és Shirley McLaine. A királynő mindezt tudta, de inkább szemet hunyt felette.
Sokan úgy vélik, viszonya volt a nála 25 évvel fiatalabb Sacha Abercorn hercegnővel, amit egy 1987-es fotó is bizonyít, ahol Fülöp csak egy törölközőben ölelgeti a nőt. Utoljára a nála 32 évvel fiatalabb Penny Romsey grófnővel hozták hírbe, aki gyakran támogatta őt különböző versenyeken.
II. Erzsébet annyira szerette Fülöpöt, hogy mindezeket megbocsátotta neki, amiért háláját fejezte ki az 1997-es aranylakodalmukon.