L'édifice, tombé en ruine lors des invasions barbares, servit pendant des siècles de carrière de matériaux de construction : ce n'est pas un hasard s'il fut appelé « grotte » au Moyen Âge. Il fut notamment dépouillé de tout son revêtement et de toutes ses colonnes. Plus tard, des maisons et des bâtiments commencèrent à être construits sur les ruines restantes, utilisant les structures restantes de l'amphithéâtre pour préserver parfaitement sa forme.
L'place splendide actuelle, singulière et unique en son genre, fut construite par l'architecte Nottolini (à partir de 1830) qui fit démolir certains bâtiments du centre et créa autour d'eux la rue appelée l'Amphithéâtre.