Вернувшись в Россию, он остался холост и вел тихую жизнь среди картин и книг, как и мечтал, когда покидал в 1761 году императорский дворец.

Исполнилась и другая его мечта — его окружали друзья. В своем доме Шувалов создал первый литературный салон. «Светлая угловая комната, — вспоминал современник, — там, налево, в больших креслах у столика, окруженный лицами, сидел маститый, белый старик, сухощавый, средне-большого росту в светло-сером кафтане и белом камзоле. В разговорах он имел речь светлую, быструю, без всяких приголосков.

Русский язык его с красивою отделкою в тонкостях и тонах… Лицо его всегда было спокойно поднятое, обращение со всеми упредительное, веселовидное, добродушное.»За обеденным столом Шувалова собирались его близкие друзья: поэты Гаврила Державин, Иван Дмитриев, Осип Козодавлев, Ипполит Богданович, адмирал и филолог Александр Шишков, переводчик Гомера Ермил Костров и другие — люди незаурядные, талантливые.

Здесь была вся русская литература, как потом, в XIX веке, она порой сосредоточивалась в книжной лавке Смирдина или в гостиной Панаевых. Всем было уютно и покойно в доме Ивана Ивановича. Он любил друзей, нуждался в их участии и внимании. После «извержения» из дворца он написал сестре: «Приобресть знакомство достойных людей — утешение мне до сего времени неизвестное. Все друзья мои или большею частию были раньше друзьями только моего благополучия, теперь они — собственно мои…»Когда умерла Елизавета, Шувалову было тридцать пять лет. Он дошел до перевала — середины своей жизни.

И оставшуюся половину жизни, отмеренной ему судьбой, — ровно тридцать пять лет — Шувалов прожил так, как и мечтал, без прежней суеты и придворных интриг, в свое удовольствие. Ему можно позавидовать.

Он наслаждался уединением, искусством, поэзией, много путешествовал.

Шувалов умер осенью 1797 года. «При всем неистовстве северной осени, петербургской погоды, холода и грязи, — писал Тимковский, — умилительно было видеть на похоронах, кроме великого церемониала, съезда и многолюдства, стечение всего, что было тогда в Петербурге из Московского университета, всех времен, чинов и возрастов, и все то были, как он почитал, его дети.