Mindig tudták rólam, hogy én egy kritikus elem vagyok, de csak befelé. Nagyon sok mindennel nem értettem egyet, és ezeket mindig megvitattuk. Orbán Balázzsal, Gulyás Gergővel és másokkal is. Mindig kifejeztem a nemtetszésemet, ha úgy éreztem, hogy nem jó irányba mennek a dolgok, néha egy mosolyt kaptam rá, de mindig megbeszéltük. Csak szép lassan elértünk egy olyan szintre, hogy azt gondolom, hogy ugyan sok minden jó irányba megy az országban, de ennek ellenére ki kell mondanom, hogy ez így nem mehet tovább. Ha nem akarjuk, hogy a gyerekeink egy családi részvénytársaságban nőjenek fel, akkor változtatni kell
– mondta a döntése hátteréről, hozzátéve, hogy az utolsó lökést az adta meg neki, ami a hétvégén történt.
A volt feleségével úgy látták, mutatkozik esély, hogy a Fideszben jön egy olyan generáció, amelyik egy idő után átveszi az irányítást. Varga szerinte azért lépett be a kormányba, mert Gulyás Gergely felkérte, és azt látták, hogy van esély arra, hogy jobb legyen a helyzet, és igényt tartanak a szakértelmükre.