Ягужинский был мужчина красивый и очень нравился женщинам.

 С нескрываемой симпатией пишет о нем леди Рондо, жена английского посланника при дворе Анны Иоанновны: «Его наружность прекрасна, черты лица неправильны, но очень величественны, живы и выразительны.

Он высок и хорошо сложен. Манеры его небрежны и непринужденны, что в другом человеке воспринималось бы как недостаток воспитания, а в нем столь естественно, что всякому видно: он исполнен достоинства, привлекающего к себе взоры даже в очень большом собрании, словно является в нем центральной фигурой».

Выходец из низов, он женился на богатой невесте, Анне Дурново, родившей ему четверых сыновей. Но в начале 1720-х годов у нее началось расстройство психики.

Ее дальнейшее буйное помешательство на эротической почве сделало жизнь Ягужинского невыносимой.

Он безуспешно добивался развода, основанием для которого в то время могла стать только супружеская неверность. Высшие церковные иерархи терпеть не могли громогласного разоблачителя грехов и долго не разводили супругов.

Лишь летом 1723 года Синод издал указ о разводе четы Ягужинских. Анна была заточена в монастырь, а Павел Иванович смог вновь жениться в октябре 1724 года.Новый брак — и по расчету, и по любви — оказался удачным.

Ягужинский взял в жены хотя и рябую (последствие оспы), но грациозную, образованную и — под стать себе — веселую и обаятельную Анну Гавриловну, дочь канцлера Головкина, да заодно получил за ней богатое приданое. В отличие от первой Анны вторая рожала мужу исключительно дочерей.