Zámek Plumlov je dominantou obce a širokého okolí, postaven byl v manýristickém stylu v letech 1680 – 1688 vedle původního plumlovského hradu. Projektantem stavby byl Karel Eusebius z Lichštejna. Původní plány na čtyřkřídlý zámek zůstaly nezrealizovány, bylo postaveno jen jedno křídlo (ani to nebylo nikdy dokončeno) s překrásným sloupovím, se štukovou a freskovou výzdobou. Hrad a zámek stály vedle sebe až do roku 1801, kdy oba objekty poškodila vichřice. Tehdejší majitel, Alois z Lichtenštejna, neměl na to, aby hrad i zámek spravoval, a proto hrad nechal zbořit. Roku 1850 je zámek pronajat okresnímu soudu a bernímu úřadu. V několika místnostech bývalo vězení, ostatní obyvatelné části zámku sloužily jako byty úředníků. V roce 1931 je zámek v rámci pozemkové reformy Lichtenštejnům zabrán a přechází do vlastnictví Státního pozemkového fondu. Roku 1994 byl zámek předán do majetku města Plumlova.
Hrad Plumlov byl založen ve druhé polovině 13. století pravděpodobně českým Králem Přemyslem Otakarem II. nebo jeho levobočkem Mikulášem, vévodou opavským. Po roce 1310 prodává Mikuláš I. plumlovský hrad a panství českému králi Janu Lucemburskému. Ten jej v roce 1322 prodal Vokovi z Kravař. Rod pánů z Kravař drží hrad až do roku 1466, kdy vymírá po meči a hrad přechází na Jana Heralta z Kunštátu, manžela Johanky, dcery posledního mužského potomka Jiřího z Kravař. Po Heraltovi, který rovněž zemřel bez mužského potomka, přechází hrad na Vratislava z Pernštejna, manžela jeho dcery Lidmily. Začátkem 16. století byl hrad přestavěn v renesanční zámek. Pernštejnové si však v té době vybudovali novou rezidenci v Prostějově a pro své finanční problémy Plumlovský zámek zanedbali; jeho úpadek dovršil požár roku 1586. Hrad byl zbořen v letech 1801–1805. Zachovalo se z něj několik základových zdí na skalním suku uprostřed nádvoří dnešního zámku.