L’édifice qui abrite aujourd’hui le musée de la ville est le fruit d'une succession de campagnes de construction, rénovation, modification.

L’acte d’acquisition du 5 vendémiaire an 11 porte sur "une maison et jardin, dont partie plantée de bosquets, située dans la rue appelée du petit Versailles, ladite maison consistant en un grand corps de logis, cour, arrière-cour, remises, écuries, grenier à foin et bois, et logement pour le concierge".

Au XIXe siècle, les évêques concordataires projettent, étendent et aménagent le bâtiment. L’ordonnancement classique sur cour et jardin est le fruit d’accommodements successifs :
- En 1813 un projet vise à doubler le corps de logis pour constituer un avant-corps central. Sa description évoque la constitution d’une aile sud symétrique de l’aile nord pour accueillir un vestibule, une bibliothèque, une chapelle et une bibliothèque. L’avant-corps que l’on voit aujourd’hui dans la cour est réalisé ; la chapelle fait l’objet de nombreux devis et descriptifs jusqu’en 1831.
- En 1843, le terrain qui longe la rue Joachim Murat est acheté pour permettre l’extension du corps principal par l’architecte Charles Hector Malo, au sud côté jardin qui repose sur un soubassement dévolu à l’orangerie. Une chambre à coucher et un cabinet sont prévus à rez-de-jardin tandis qu’un appartement d’honneur est créé à l’étage accessible par l’escalier en ellipse. Le logis présente sur le jardin un avant-corps central légèrement saillant entre deux ailes symétriques.
Entre 1858 et 1860 la création de l’aile sud de la chapelle est réalisée par l’architecte Lainé « en symétrie » de l’aile nord. Un bassin semble alors orner le centre de la cour.

L’extension nord côté jardin est plus tardive (entre 1868 et 1896) et abandonne tant à l’intérieur qu’à l’extérieur le style néoclassique qui caractérise les réalisations antérieures. Son volume visible depuis la cour domine l’ensemble du musée. 

Le portail néo-roman est réalisé à la fin du XIXe siècle.

Lorsque le bâtiment est mis à disposition du musée en 1929, il semble en bon état. Le musée occupe alors le corps central. L’aile nord et son pavillon d’entrée, l’orangerie et le pavillon sud sont à disposition d’autres institutions locales.

Après la guerre, des travaux de réaménagement entrepris dans le musée se poursuivent jusqu’en 1962-63.
En 1970, l’arrivée des œuvres d’Henri Martin au musée initie une nouvelle phase de travaux. La salle du triptyque « Le Monument aux Morts », éclairée zénithalement, s’adosse alors à l’aile Nord. Le musée porte le nom d’Henri Martin depuis cette date.

Quant à l’institution muséale, elle a été créée en 1833 pour recueillir la collection « des productions des trois règnes de la nature et de tous les objets d’antiquité dont l’étude pourrait servir à l’histoire générale ou à l’histoire particulière du Quercy ». D’abord départemental, le musée est ensuite devenu municipal en 1841. Le musée de Cahors Henri Martin conserve aujourd’hui environ 10 000 objets et documents, intéressant l’archéologie, l’ethnographie extra-européenne, l’histoire, l’histoire de l’Art et l’art contemporain.