Il est fait mention du nom de Saint-Izaire pour la première fois dans un acte datant de 862  conservé autrefois dans les archives de l’évêché deVabres. Ce document faisait foi que la vingt-deuxième année du règne de Charles-le-Chauve, c’est-à-dire en 862, un riche seigneur du pays, du nom de Rolland, fit donation aux moines bénédictins récemment installés à Vabres de tous ses biens: le domaine des Armayrols avec une chapelle dédiée à Saint-Izaire, Saint-Jean d’Alcapies etc…

Selon l’écho paroissial rédigé par l’abbé Hermet en 1906 : ‘’Rolland était un ecclésiastique très proche de Raymond, comte de Toulouse et de Rouergue; il était son filleul. Etait-il originaire de ce qui est, aujourd’hui Saint-Izaire ? L’Histoire ne le dit pas. En tout cas ses fonctions ne devaient pas lui permettre d’y résider en permanence mais il est, cependant, probable que les rives enchanteresses du Dourdou l’y attiraient et l’y retenaient au moins quelques semaines par an.’’

L’abbé Rolland après avoir donné tous ses biens au monastère de Vabres cédant à l’attrait surnaturel qui le dirigeait vers le cloître embrassa la vie religieuse dans ce même monastère qu’il venait de si richement doter. Les abbés bénédictins de Vabres sont donc devenus pasteurs spirituels et seigneurs temporels de ces biens et pour obtenir la protection du roi de France ils durent lui en concéder le « paréage ». Ainsi roi et abbés (et plus tard évêques) de Vabres en deviennent coseigneurs. En 1285, un accord fixe les droits de l’un et des autres.

Invasions, brigandages et luttes entre féodaux font régner une terrible insécurité et il est vraisemblable que le village s’enferme peu à peu dans des remparts qui deviennent le refuge des habitants des environs lors des désordres. Le château et le bourg fortifié datent des évêques de Vabres qui font de Saint-Izaire leur résidence d’été ainsi qu’un solide refuge.

Le traité de Brétigny (1360) cède le Rouergue aux Anglais qui tentent de s’attacher la population. De 1362 à 1370, une garnison anglaise aux ordres du capitaine Folques l’Allemant cohabite avec les gens de l’évêque dans le château de Saint-Izaire. Elle l’évacuera sans combat lorsque la révolte commencera à gronder. Au commencement du 15ème siècle les remparts tombaient en ruine ; ils furent reconstruits par les soins de l’évêque, Monseigneur Guillaume de Bastide (évêque de 1412 à 1421) avec le concours des habitants du village. Cette précaution était bien nécessaire à l’époque où le pays était harcelé par les bandes de brigands qui, sous le nom de routiers, ravageaient, pillaient, incendiaient les hameaux etvillages qui n’étaient pas en état de se défendre. Les remparts étant reconstruits, il fallait les garder de nuit et de jour, pour mettre le village à l’abri des ennemis. Les hommes valides de Saint-Izaire et des hameaux montaient la garde à tour de rôle.

A la fin des guerres de religions et le retour de la paix cette enceinte a perdu son rôle de fortification, et a été percée de fenêtres, les portes fortifiées ont été démolies pour le passage des charrettes ou pour agrandir les maisons voisines. Le tracé des rues, ruelles et maisons est inchangé depuis le Moyen-âge, et dans certaines rues on peut encore voir de très belles façades et fenêtres du XVème siècle.Nouvelle réparation en 1650 à l’initiative des Consuls. En 1635 la voûte de la vieille église, incluse dans le rempart est abaissée et l’espace ainsi créé a permet de loger selon les besoins, le maitre d’école ou le corps de garde.