Det första stationshuset, ett tvåvånings trähus, brann ned 1881. Nr 2 var byggt i gult tegel. Det ersattes 1907 av den stora byggnad i rött tegel som fortfarande finns kvar.
Ur Boken om HNJ: "Skillingaryds stationshus å Halmstad-Jönköpings jernwäg nedbrann i fredags. Stationens räkenskaper, telegrafinstrument samt lösegendom tillhörande stationsföreståndaren, lär allt wara räddadt, Elden, hwars uppkomst är obekant, började strax efter kl. 9 f.m. Stationshuset är brandförsäkradt i "Swea" för 11,500 kronor - Hvad Nytt? 1 mars 1881." Då den 1 mars var en tisdag skall alltså branden ha inträffat den 25 februari 1881.
Stationshuset med väntsal har under år 2000 renoverats av sin nye ägare. Väntsalen som fortfarande ska vara öppen för resande, har prytts med div. föremål med järnvägsanknytning samt en förteckning över alla stationens föreståndare.
Notis i Ånghvisslan nr 2742 2021-04-11:
"Sedan en tid inryms i stationshusets södra del en Barber Shop och i före detta väntsalen ett kafé med kiosk."