Этот новый член семьи был взят на воспитание Елизаветой Михайловной Хитрово за границей и, по легенде, являлся сыном внезапно скончавшейся венгерской графини Форгач. Когда его приемная мать умерла, заботу о Феликсе взяла Екатерина Фердинандовна Тизенгаузен, к тому времени камер-фрейлина императрицы Александры Федоровны – жены Николая I. Императрица, носившая до замужества имя Каролины, была дочерью прусского короля Фридриха Вильгельма III. Придворные поражались теплой дружбе между императрицей и фрейлиной.

Говорили, что все это основывалось не только на глубокой привязанности и взаимной симпатии, но имело под собою более прочный фундамент. Утверждали, что еще в 1820 году, когда сестры Тизенгаузен путешествовали по Европе, в графиню Екатерину Фердинандовну влюбился прусский король Фридрих Вильгельм III, тот самый, с которым дед Екатерины – Кутузов – познакомился еще весной 1798 года и который подарил Михаилу Илларионовичу свой портрет. Утверждали, что король сделал предложение графине Екатерине Тизенгаузен, но получил отказ. 

Внучка Кутузова не согласилась стать королевой Пруссии, хотя к Фридриху Вильгельму как человеку испытывала добрые чувства. Поговаривали, что Феликс Эльстон – воспитанник Елизаветы Михайловны Хитрово – был не сыном графини Форгач, а внебрачным ребенком Екатерины Тизенгаузен и прусского короля. 

Этим досужие великосветские сплетники и объясняли дружбу императрицы со своей фрейлиной. Во всяком случае, Екатерина Тизенгаузен не вышла замуж и с 1833 года до самой смерти прожила в Зимнем дворце.