Здесь родителей разлучили с четырехлетним сыном. Его, под именем Григория, повезли на Соловки, но из-за осенней непогоды добрались только до Холмогор, где Ивана Антоновича поместили в бывшем доме местного архиерея.

 Надо сказать, что имя Григорий не самое удачное в русской истории — невольно вспоминаешь Григория Отрепьева и Григория Распутина. Здесь, в Холмогорах, ребенка посадили в одиночную камеру, и отныне он видел только слуг и охранников. Живого и веселого мальчика непрерывно держали в наглухо закрытой комнате без окон — все его детство, всю его юность. У него не было игрушек, он никогда не видел цветов, птиц, животных, деревьев. 

Он не знал, что такое дневной свет. Раз в неделю под покровом ночной темноты его выводили в баню во дворе архиерейского дома, и он, вероятно, думал, что на дворе всегда стоит ночь. А за стенами камеры Ивана, в другой части дома, поселили его родителей, братьев и сестер, которые родились уже после него и которых он тоже никогда не увидел.

Елизавета никогда не отдавала приказа убить Ивана, но делала все, чтобы он умер. Императрица запретила учить его грамоте, запретила ему прогулки. Когда он, восьми лет, заболел оспой и корью, охрана запросила Петербург: можно ли пригласить к тяжко больному доктора? Последовал указ: доктора к узнику не допускать! Но Иван поправился на свою беду… 

В 1756 году шестнадцатилетнего заключенного внезапно перевезли из Холмогор в Шлиссельбург и поселили в отдельной, строго охраняемой казарме. Охране были даны строжайшие предписания не допускать посторонних к узнику Григорию. Окна помещения, чтобы не пропускали дневной свет, густо замазали краской, в камере постоянно горели свечи, за узником непрерывно наблюдал дежурный офицер. Когда приходили слуги убирать в помещении, Григория заводили за ширму. Это была полная изоляция от мира…