Dendrokronologiske undersøkelser viser at Svalgangsbygningen ble bygget 1728-29. Da var den hovedbygning på en av Romerikes største gårder. Med to etasjer, sval langs den ene veggen og tegltak må den tydelig ha vist gårdens status. Bare første etasje var innredet, andre etasje ble brukt som lager.
Rundt 1820 ble huset vi nå kaller Gulbygningen satt opp, og ble det nye hovedhuset. Svalgangsbygningen ble brukt som tjenerbolig. Den forfalt utover 1800-tallet, og rundt 1900 var den i svært dårlig stand. Den havnet via omveier på fylkets hender.
Rundt 1910 skulle det bygges landbruksskole i Nes, og den unge arkitekten Arnstein Arneberg fikk oppdraget. Han forelsket seg i bygningene på Store Hvam, og var med på å organisere restaurering av Svalgangsbygningen. Han tok seg en del friheter da han satte bygningen i stand. Det ble satt inn en hel del nye vinduer, og mye materiale ble byttet ut. I andre etasje ble det innredet en festsal i nasjonalromantisk stil. For å få det høyt under taket i festsalen endret han takkonstruksjonen, fra åstak til sperretak. Det ble også lagt torvtak på huset, selv om det tidligere hadde hatt tegltak.
