Powiedzenie „Wart Pac pałaca, a pałac Paca” ma związek z luksusowym niegdyś pałacem położonym zaledwie ok. 20 km od Augustowa w miejscowości Dowspuda. Tam nad brzegiem Rospudy wśród parkowych drzew skrywają się ruiny tego pierwszego na ziemiach polskich neogotyckiego pałacu w czystym angielskim stylu Tudorów.
Zbudował go w latach 1820-1827 Ludwik Michał Pac jeden z najbogatszych ludzi na ówczesnych ziemiach polskich. Projekt pałacu stworzył włoski architekt Piotr Bosio, który kierował też początkowo pracami budowlanymi, a dzieło dokończył słynny Henryk Marconi. Pałac był bogato wyposażony w dzieła sztuki, polichromie, freski oraz rzeźby.
Postać Ludwika Michała Paca była prawdopodobnie pierwowzorem postaci Hrabiego w „Panu Tadeuszu” dla Adama Mickiewicza. Był to człowiek niezwykle światły, poświęcony ojczyźnie, uczestniczył w wielu walkach na różnych frontach Europy. Legenda głosi, że walcząc z Napoleonem pod Moskwą uratował mu życie, a po ostatecznej klęsce wyjechał do Anglii, gdzie podpatrywał jak gospodarują brytyjscy rolnicy. Ich doświadczenia przeniósł do swoich majątków w Polsce. Po upadku powstania listopadowego rząd carski skonfiskował jego dobra, a Pac zbiegł z okrążonej Dowspudy tajnym tunelem podziemnym, który według legendy prowadził, aż pod jezioro Wigry a jego strop wyłożony szklanymi płytami umożliwiał obserwację życia toczącego się na dnie jeziora. Michał Pac zmarł na emigracji w Turcji, a jego pałac przechodząc w kolejne ręce popadł niestety w ruinę.
Dzisiaj możemy oglądać tylko nieliczne fragmenty takie jak odrestaurowany portyk, jedną z narożnych wież głównego korpusu zwaną "bocianią", dwukondygnacyjną piwnicę oraz część pałacowych fundamentów. Wokół posiadłości roztacza się 13-hektarowy park z wieloma drzewami sadzonymi jeszcze przez ogrodników Ludwika Michała Paca. Warto przespacerować się ścieżką poznawczą „Park w Dowspudzie – natura i historia”, która pozwoli na chwilę oddechu od miejskiego zgiełku, wśród śpiewu ptaków i szumu drzew dawnego pałacowego parku.