Die Errichtung des Palazzo Pfanner ist auf das Jahr 1660 zurückzuführen. Die Handelsadel-Familie Moriconi ließ das Gebäude errichten. Nach ihrem wirtschaftlichen Bankrott waren die Moriconi 1680 gezwungen, das Gebäude an die Familie Controni zu verkaufen, die dank des Seidenhandels zum Adel aufgestiegen waren.
Die Contronis ließen wichtige Umbauten am Gebäude und am Grundstück durchführen: 1686 entstand die herrliche Außentreppe nach dem Entwurf von Domenico Martinelli. Dieser aus Lucca stammende Architekt war überwiegend in den europäischen Hauptstädten Wien und Prag tätig. Anfang des 18. Jahrhunderts wurde Filippo Juvarra mit der Sanierung des Gartens im Hinterhof beauftragt. Zugleich wurden die Gewölbe der Außentreppe und der Innenräume von lokalen Quadraturmalern mit Fresken ausgemalt.
Gegen Mitte des 19. Jahrhunderts ging der Besitz des Palazzos an die Familie Pfanner über. Der bayerische Bierbrauer Felix Pfanner von österreichischer Herkunft erwarb die gesamte Anlage, nachdem er 1846 in den Kellergemäuern mit der Brauerei des ersten italienischen Biers begonnen hatte. Die Brauerei Pfanner war mit ihrem Ausschank im Garten in Lucca beliebt, musste aber 1929 schließen. Noch heute ist die Familie Pfanner Eigentümer des Grundstücks. Nach eingehenden Restaurierungsarbeiten wurde der Palazzo 1995 für Besichtigungen geöffnet.
Die Gartenanlage des Palazzo Pfanners liegt zwischen dem Gebäude und der Stadtmauer. Schön gepflegter Rasen, Zierhecken, Zitronenbäume in Terrakotta-Kübeln, prächtige Bäume und Statuen aus dem 18. Jahrhundert, die griechische Gottheiten und die Vier Jahreszeiten darstellen, füllen die Kulisse dieses Gartens. Ein gelungener Barockgarten im Herzen der mittelalterlichen Stadt. Der oktogonale Brunnen im Kreuzpunkt der zentralen Wege und die elegante Orangerie sind weitere Blickfänge dieser Anlage. 1996 war der Palazzo Pfanner Drehort des Films Portrait of a Lady mit Nicole Kidman und John Malkovich.
Szenen des berühmten italienischen Films Il Marchese del Grillo (1981) des Regisseurs Monicelli wurden auf der Außentreppe gedreht.
Im oberen Stockwerk befindet sich ein prächtiger Salon mit Fresken von Pietro Paolo Scorsini aus den Anfängen des 18. Jahrhunderts. Seitlich davon befinden sich ein original ausgestattetes Schlafgemach, wo sich 1692 die Liebesaffäre zwischen dem Prinzen Friedrich IV. von Dänemark und der Luccheser Adelsfrau Maria Maddalena Trenta zutrug, und eine historische Küche.
Der Palazzo beherbergt eine Sammlung von chirurgischen Instrumenten , die dem Chirurgen Pietro Pfanner gehörten, Philanthrop und 1920 bis 1922 Bürgermeister von Lucca.