Fondée en 1584 par l’évêque Antoine de Senneterre, les statuts de la confrérie sont sanctionnés par une bulle d’Alexandre VII en 1659. La confrérie jouit pendant ses 200 ans d’existence jusqu’à la Révolution d’une grande considération et nombreux furent ceux qui souhaitèrent y appartenir. Dans les nombreuses processions auxquelles elle participait, elle occupait la première place après le clergé. La confrérie devint tellement florissante que le sanctuaire qui leur avait été attribué devint exigu. La Marquise d’Allègre fit don de l’ancienne demeure des seigneurs d’Allègre, proche de l’actuelle cathédrale. La maison fut alors transformée pour l’usage exclusif de la confrérie. Le rez-de-chaussée abrite toujours la vaste chapelle, chapelle qui a été sauvée des profanations et de la destruction pendant la période révolutionnaire grâce à la corporation des bouchers qui en fit son séchoir. Interdite et dissoute à la Révolution, elle fût reconstituée en 1811, elle est toujours active aujourd’hui. La chapelle abrite toujours les objets appartenant à la confrérie.
