Det första stationshuset byggdes av trä i samband med att den första järnvägen i Värnamo, linjen från Halmstad, öppnades 1877. I villkoren för Skåne - Smålands järnvägs anslutning ingick bl.a. att denna järnväg skulle bygga ett nytt stationshus. SSJ byggde först ett eget i korsvirkesstil som stod klart 1899, men det kom inte att användas som stationshus utan blev posthus.
Istället kom man överens om att bygga ett nytt gemensamt stationshus där även BAJ fick plats. Det gamla HNJ-stationshuset flyttades 1902 till korsningen Norra Övergången/Bangårdsgatan där det byggdes om till bostad för banmästare och också användes som överliggningshus. Det revs 1995 då den intilliggande järnvägsövergången, Norra övergången, ersattes av en vägtunnel och nya gator anlades i området varför byggnaden stod i vägen. Huset var då klätt med Sidiplattor.
Ovanstående är ett försök att sammanställa olika uppgifter som förekommit på bl.a. Järnvägshistoriskt Forum.
Det fina vattentornet av tegel revs 2022-11-13. Det har funnits en stark opinion för att bevara det, men tornet stod illa till för bangårdens ombyggnad och en flyttning hade varit alltför kostsam att genomföra.
Från den 14 augusti 2023 är åter kaféet Coffee Time igång i stationshuset efter att verksamheten legat nere några år.