Willemoesgården, oprindeligt fra 1675, ligger midt i Assens historiske bymiljø mellem Østergade og Kindhestegade som et af byens ældste huse. Hjørnehuset, i renæssancebindingsværk, er opført i 2 stokværk, med teglhængt heltag med bredt udhæng. Længst mod øst ses en bred port - gennemkørsel til baggården orienteret mod Østergade.
Navnet på museet skyldes søhelten Peter Willemoes, der i 1783 blev født i dette hus, hvor hans far var amtsforvalter. Willemoesgården er i dag ejet af Assens Kommune, der har stillet bygningen til rådighed for Museum Vestfyn, med henblik på bla. etablering af mindestuer for Peter Willemoes.
Hjørnehuset indgår smukt i byens bevaringsværdige husrækker og danner, sammen med tilstødende hjørnebebyggelser, afgrænsning omkring en lille plads. Willemoesgårdens udseende er i dag ikke det samme som for godt 400 år siden. Omkring 1600-tallet var det otte fag dybe gavlhus forsynet med en 5-fags knægtbygget gavl ud mod Østergade samt et 7-fags langhus i tilslutning hertil. Det to stokværk høje langhus fungerede som magasinbygning. Gavlkonstruktionen forsvandt formentlig i slutningen af 1700-årene, hvor bygningen til gengæld fik tilføjet de to kviste, som stadig ses.
I 2016 gennemgik bygningen en omfattende tag- og facadeistandsættelse, hvor bindingsværk, murede tavl samt vinduer, port og dør mod hhv. Østergade samt Kindhestegade blev restaureret. I baggården blev flere tagflader på hhv. side- og bagbygninger partielt omlagt, hvor spær og remme tillige blev snedkermæssigt eftergået.
I samarbejde med Assens Kommune, Slots- og Kulturstyrelsen samt Museum Vestfyn gennemførte tegnestuen i 2016 restaureringsfagligt tilsyn i forbindelse med restaureringsarbejderne udførelse. Bygningens historiske farvesætning på tavl, bindingsværk, vinduer, porte og døre blev afdækket i en farvearkæologisk undersøgelse og danner i dag udgangspunkt for nuværende farveholdning.
Arbejderne blev afsluttet i juni 2016 i forbindelse med museets fejring af 200 året for guldaldermaleren Dankvart Dreyer, født i naboejendommen, Østergade 38.