Bygningen ble satt opp mellom 1728 og 1729, og er betydelig større enn det som var vanlig på landsbygda på 1700-tallet. Dette viser at bøndene som bodde på Hvam var velstående.
Navnet på bygningen kommer fra den overbygde gangen på utsiden av bygningen, med dører som leder inn til hver rom. Dette omtales som en svalgang.
Det yngste huset på tunet er Gulbygningen, som sto ferdig i 1820. Bygget tok da over rollen som hovedhus på gården. Her flyttet storbonden inn, mens tjenestefolket ble værende igjen i Svalgangsbygningen.
Ut over 1800-tallet forfalt Svalgangsbygningen. Slik sto den helt frem til 1910, da restaurering ble satt i gang. Etter hvert ble bygningen museum.
Bryggerhuset er det eneste av bygningene på hovedtunet som er flyttet til museet. Slike bygg fungerte ofte som grovkjøkken, og kunne blant annet brukes til slakt og steking av flatbrød. I tillegg til grovkjøkken finner vi også en drengestue i dette bygget.
Stallen, låven og fjøset var gårdens uthus. I stallen og fjøset sto det hester og kyr, og på låven ble det lagret høy.
Uthusene er bygd sammen i mønet, noe som danner ei rundkjøring som blant annet gjorde innkjøring av høy enklere – man trengte ikke å snu og vende kjerrer og vogner inne på låven.
Stallen er fra 1700-tallet. Hesten var svært viktig for det daglige arbeidet på gården, og ble høyt verdsatt. Spiltauene i stallen er et tegn på dette: endeveggene på spiltauerekkene er formet som en hest.
