Det ursprungliga stationshuset av trä brann 1904 och ersattes av ett nytt i tegel.
Händelsen skildrades i Svenska Dagbladet och i Dagens Nyheter tisdagen den 8 mars 1904:
"Nedbrunnet stationshus.
ALFVESTA, måndag. Eld utbröt i går afton vid Hjortsberga station på Borås-Alfvesta järnväg. Stationshuset nedbrann till grunden med lösöse, kassan o.s.v. Magasinet och uthusen räddades."
Olle Alm 2011-09-15:
"Tegelhuset finns kvar i välbevarat skick som privat bostads- och verksamhetshus. Det har en nordlig huvudkropp vinkelrätt mot spåret och en sydlig flygel som är parallell med spåret. Utförliga stationsnamnsskyltar finns kvar, men huset är delvis förbyggt från spårsidan. Läget är på spårets östra sida. Ett rött f.d. järnvägsmagasin och ett vitt privat magasin finns liksom en övervuxen lastkaj kvar på den västra sidan. (Besök september 2009)."
I stationshuset finns en butik för blommor och inredningsprylar.