Вся нарядная, праздничная придворная жизнь, подобострастие окружающих разом пресеклись для Шувалова 25 декабря 1761 года, когда на его руках умерла императрица Елизавета. Но, утратив власть, он получил свободу и покой, к которым давно стремился.

Позже, из-за границы, он писал сестре: «Если Бог изволит, буду жив и, возвратясь в свое отечество, ни о чем ином помышлять не буду, как вести тихую и беспечную жизнь, удалюсь от большого света… не в нем совершенное благополучие почитать надобно, но собственно в малом числе людей, родством или дружбою со мной соединенных.

 Прошу Бога только о том, верьте, что ни чести, ни богатства веселить меня не могут».И это не пустые слова, не жеманство экс-фаворита.

Как мы видели, Шувалов думал так и во времена своего могущества. Несомненно, им владели популярные тогда идеи так называемого «философского» поведения: комфортабельная, спокойная жизнь в богатом имении, на лоне природы, в окружении друзей, умных собеседников, ценителей вечного и прекрасного. Но, кроме дани моде, здесь было и искреннее стремление выскочить из беличьего колеса жизни, укрыться от суеты.На это есть подходящая к случаю русская пословица: «Не было бы счастья, так несчастье помогло».

После смерти Елизаветы к власти пришел Петр III, потом на престоле оказалась Екатерина II. Обер-камергер покойной царицы ей был совсем не нужен, да и не доверяла Екатерина Шуваловым. Поэтому она не возражала, когда Иван Иванович отпросился пожить за границей. Он провел там семь лет, побывал в любимой им Франции, гостил у своего давнего заочного приятеля Вольтера, прослыл в Париже просвещеннейшим русским вельможей.

 Он жил в благословенной Богом Италии, поражая всех утонченной воспитанностью, образованностью. На своей вилле он принимал и устраивал русских художников — выпускников любимой им Академии. Он скупал картины, одну другой лучше.

Потом сотню шедевров кисти Тициана, Рембрандта, Веронезе и других гениев он подарил Академии художеств.

Позже эта изумительная коллекция стала основой собрания живописи Эрмитажа. Шувалов заказывал многочисленные слепки с античных шедевров и отсылал их в Академию, чтобы русским талантливым мальчикам и юношам было с чего учиться искусству ваяния.