Arkeologiske utgravninger har avdekket 4000 år gamle spor etter mennesker på Huseby, og det har vært fast bosetning her i minst 2000 år. I flere århundrer fram til 1883 var Huseby prestegård, og deretter ble det fattiggård (1889-1924). Museum ble det i Drengestua fra 1937, og gradvis er flere av gårdens bygninger blitt  innlemmet i museet. Vi formidler hele gårdens historie, fra rik prestegård til fattiggård. 

Hovedbygningen har gjennom tiden gjort nytte som presteparets våningshus, og senere som den viktigste delen av fattiggården, med de fleste fattiglemmene innlosjert i husets loftsrom og storstue. I sagmesterboligen Nebben kan du komme inn til sagmesterfamilien fra Strømmen, og i gårdens andre bygninger er det midlertidige utstillinger om Skedsmos historie.

Vi vet at hovedbygningen på Huseby har brent til grunnen to ganger. Siste gang var i 1830, men den nye hovedbygningen ble bygget på de gamle grunnmurene og skal være temmelig lik den som ble bygget etter forrige brann i 1760. Huset er en midtkammerbygning, og arkitekturen er typisk for storgårder i området.

Da det på et tidspunkt ble foreslått at den skulle bygges om for å kunne gjøre nytte som områdets framtidige pleiehjem, leverte arkitekten som var satt til jobben inn protestbrev med ønske om å bli avskediget dersom man fastholdt å gjennomføre prosjektet, da det etter hans profesjonelle mening ville ødelegge bygningens arkitektur!