Het was bisschop Antonius Triest die in 1622 opdracht gaf om een nieuw seminarie te bouwen in de buurt van de kathedraal. Het seminarie werd snel te klein om alle seminaristen, professoren, huishoudsters en de ruime bibliotheek te huisvesten. Bisschop Maximiliaan van der Noot liet bijkomende gebouwen optrekken. In 1853 werd de eerste steen gelegd van de nieuwe seminariekapel.

Het Sint-Baafshuis was niet alleen een seminarie. Decennialang was de basisschool van Sint-Bavo hier gehuisvest. Meer dan 20 jaar geleden besliste de bisschop van Gent om alle diocesane diensten onder te brengen op 1 locatie, in het hart van de stad. Dat betekende het startschot van een lange restauratie en renovatiecampagne, die in 2024 succesvol werd afgesloten.

Het Sint-Baafshuis is toegankelijk voor rolstoelgebruikers.

Het Sint-Baafshuis en de tuin zijn doorlopend vrij te bezoeken van 10 tot 16 uur. Om 12 en om 15 uur kan je genieten van een muzikaal intermezzo.