В июне 1911 года Нелли устроила большой прием по случаю их серебряной свадьбы, который напоминал венецианский маскарад в Маниле. 5000 гостей осыпали супружескую пару невероятным количеством подарков из серебра. Когда Нелли их увидела, то подумала, что этого хватит, чтобы одарить всех молодоженов, с которыми она познакомится в течение всей жизни. Свадебный торт весил почти 40 кг. Перед Белым домом собралось около 15 тысяч любопытных. На следующий день Нелли пригласила жителей Вашингтона в сады Белого дома, где играл военно-морской оркестр.
Нелли очень переживала поражение мужа на выборах в 1912 году. Она чувствовала себя всеми обиженной, особенно Теодором Рузвельтом, который, выдвинув свою кандидатуру, расколол республиканскую партию и дал возможность победить демократу Вудро Вильсону. Нелли напомнила мужу, что еще четыре года назад она предостерегала его от Рузвельта. «Радуйся, что была права», — возразил он.
Нелли, подавленная поражением на выборах, покинула Белый дом, ни с кем не простившись. В знак благодарности за активное участие в жизни города общественность Вашингтона подарила миссис Тафт бриллиантовое колье стоимостью десять тысяч долларов.
После приведения к присяге нового президента Элин и Вудро Вильсон пригласили Тафтов на обед, но Нелли предпочла собирать вещи. Когда один репортер спросил дочь Нелли, Элен, покидает ли ее мать Белый дом с чувством облегчения, она ответила откровенно: «Моя мама никогда не искала легких путей. Ей всегда нужно, чтобы что-нибудь происходило».
Позднее Тафт стал профессором права в престижном Йельском университете. С этих пор Нелли находила удовольствие в спокойной жизни. Она много читала, ходила на концерты, играла в гольф, принимала друзей. По-прежнему ее взгляды не совпадали со взглядами мужа. Если он, например, поддерживал сухой закон, она была против, он высказывался за избирательные права женщин — к удивлению всех, она была против, считая, что женщины еще не готовы к получению избирательных прав. В 1919 году женщины получили избирательные права. По этому поводу американская почта выпустила специальную почтовую марку. Тафт купил одну марку. Когда его спросили, зачем, он ответил: «Я приклею ее на письмо моей жене».
В марте 1930 года Тафт умер. Нелли сидела у его постели, последним его словом было: «Любимая».
После смерти супруга Нелли вела размеренную жизнь, политика ее больше не интересовала. Уильям оставил ей состояние в 475 тысяч долларов. 22 мая 1943 года она умерла, в возрасте 82 лет. Ее похоронили рядом с мужем на Арлингтонском кладбище недалеко от столицы.
«Нью-Йорк Таймс» писала: «Самая большая заслуга Нелли состоит в том, что она сыграла важную роль в направлении карьеры своего выдающегося мужа».
Вудро Вильсон считался холодным, уравновешенным президентом, примерным супругом, хотя и любил общество женщин. Одно время ходили слухи, что у него роман с Мэри Хьюбет Пек, с которой он познакомился во время отпуска на Бермудах в 1907 году.
Впервые он встретился с Мэри Хьюбет Пек за два дня до отъезда на приеме у бургомистра. На следующий вечер она пригласила его к себе. Восторженный Вильсон послал ей первое письмо. Никогда еще он не встречал человека, которым бы так восхищался. Через год Вильсон опять поехал на Бермуды и снова без супруги. Во всех его письмах чувствуется восхищение интеллигентной миссис Пек.
В последующие годы из этого знакомства попытались раздуть общественный и политический скандал. Говорили, что роман Вильсона с миссис Пек явился причиной смерти его первой супруги. Якобы во время скандала он столкнул миссис Элин с лестницы Белого дома. Согласно другому слуху, миссис Пек подала на президента в суд за прелюбодеяние. Желая избежать огласки, Вильсон обратился за советом к знаменитому бостонскому юристу Луису Брэндайсу, который предложил миссис Пек 75 000 долларов за отзыв жалобы. Судья Брэндайс публично назвал это «жалкой клеветой», но позже шептались, что его назначение судьей Верховного суда — благодарность президента за избавление от этого скандала.
За семь лет Вильсон написал миссис Пек более двухсот писем. В старости, испытывая нужду, она продала их его биографу, Рею Бейкеру. Средства массовой информации предполагали, что таким образом она пыталась получить деньги от Вильсона. Историки и биографы, изучавшие эти письма, не нашли в них ничего, что могло бы бросить хоть тень подозрения на Вильсона. С миссис Пек были чисто дружеские отношения.
Супруга Вильсона, Элин, узнав об этих слухах, отнеслась к ним спокойно. Она всем говорила, что, видимо, женщины, которых молва связывает с ее мужем, обладали такими качествами, которых нет у нее, поэтому она даже поощряет подобные знакомства. Но однажды все-таки призналась доктору Грейсону, домашнему врачу Вильсонов, что миссис Пек была единственным случаем прелюбодеяния в их счастливой совместной жизни.
Казалось, Вильсон сожалел, что поддерживал знакомство с миссис Пек. Спустя много лет он писал: «Эти письма выявили глупую ошибку прошлого. Меня наполняет стыд и глубокое раскаяние. Ни словом, ни поступками я не запятнал чистоту и честь этой дамы. Она, со своей стороны, великодушно простила мне мое поведение. Моя лояльность по отношению к моей несравненной супруге никогда не была нарушена ни в чем, даже в самом малом. И она знала об этом, понимала и простила меня».
Вильсон был убежден в том, что женщины в интеллектуальном отношении ни в чем не уступают мужчинам. Более того, они обладают особого рода интеллигентностью. «Интеллигентная женщина, — по его словам, — дополняет своего мужа, стимулирует его деятельность». Хотя он и поддерживал введение избирательного права для женщин, но все же был против их пресловутой независимости.