Чорна смуга
Після весілля Олена та її чоловік Василь вважалися однією з найбільш гарних, розумних, багатих і культурних пар в Петербурзі. Але раптово настали нещасливі дні. Василь Петрович почав пити, і матеріальне становище сім’ї досить швидко погіршився. Через деякий час граф зупинився, і разом з Оленою вони поїхали за кордон. За словами багатьох, Олена була найпривабливішою жінкою і на Паризьких балах.
Повернулися в Петербург вони з великою кількістю закордонних речей, якими дивували всіх у своєму багатому домі.
Смерть
Їх величезна квартира, яку іноді навіть називали палацом, перебувала на Невському проспекті, 48. Будинок був розкішний як зовні, так і всередині. Зміст його обходилося недешево, і багатство знову почало танути.
Незабаром помер єдиний син Петро, а його спадок від одного з родичів розділилося між батьками Петра і братом його батька.
У той час душевне і грошове стан сім’ї було жахливо, довелося продати маєток. У 1855 році Василь Петрович Завадовський помер, і Олена стала вдовою. Навіть після всіх цих гірких подій і через стільки часу вона, за розповідями графа Михайла Бутурліна, виглядала не гірше, ніж тридцять років тому.
Померла Завадовская 22 березня 1874 року. Поховали всю їх сім’ю (Олену Михайлівну, Василя Петровича і Петра Васильовича) у Федорівській усипальниці Олександро-Невської лаври.