Останні роки
На наступних президентських виборах кандидатом від партії Вігів став Вінфілд Скотт і тільки в 1855 році маленька партія Know Nothing Party, створена на основі одного з уламків партії Вігів, висунула його кандидатуру. На виборах Філлмор зазнав нищівної поразки, 296 вибірників при остаточній балотування за нього проголосували лише 8.
В наступні роки він займався міський політикою в Буффало, де з початком громадянської війни організував ветеранський полк, який займався вербуванням новобранців і похоронами загиблих військовослужбовців. У відставку з військової служби пішов у званні майора. Помер Філлмор 8 березня 1874 року від інсульту.
