Deux grandes périodes ont forgé Boussac : la période médiévale d'influence berrichonne pour ses fortifications, et le XVIIIe siècle pour son développement économique et architectural.
Boussac est dominée par un impressionnant château, le château de Boussac. C'est la place forte du nord-est de la Creuse, dont le riche passé se lit encore dans les rues et sur les façades des maisons aux escaliers à vis et aux balcons en fer forgé.
Sur son éperon rocheux dominant la vallée de la Creuse, le château de Boussac a connu une histoire mouvementée.
Le maréchal de France Jean de Brosse, compagnon militaire de Jeanne d'Arc, fit construire le château au XVe siècle. A sa suite, de nombreux personnages célèbres ont séjourné à Boussac. La romancière du XIXe siècle George Sand a magnifiquement décrit cette partie de la Creuse et plus précisément le château, où elle séjournait régulièrement.
Elle disait : « Le château de Boussac est à moitié en ville et à moitié à la campagne… [Il] s’enfonce dans le rocher perpendiculaire qui le porte au lit de la Petite Creuse, et domine un site admirable… » Elle écrivait aussi dans son célèbre roman Jeanne : « Il est irrégulier, gracieux et joli dans sa simplicité.
C’est dans ses murs qu’ont également été découvertes les tapisseries mondialement connues de La Dame à la Licorne. Série de six tapisseries chargées de symbolisme, elles sont aujourd’hui exposées au musée de Cluny à Paris.
La construction de la Maison à Tourelles, en face de la maison d’hôtes Vincent, rue de la Cure, s’est déroulée selon un plan rectangulaire aux XVe et XVIe siècles. Le château de Boussac est à deux pas, donc l’histoire selon laquelle la Maison à Tourelles hébergeait les intendants du château est plausible.
L'Hôtel à Tourelles a été remanié au XVIIIe siècle, ses ouvertures étant alors déplacées vers le haut et élargies. Côté rue de la Cure, deux tourelles délimitent nettement l'édifice. Un escalier à volées droites part de l'angle est pour desservir les étages. Les cheminées et le décor des deux pièces du rez-de-chaussée sont classés monument historique.