Fu costruito nella metà del '400 da Luca Fancelli, su volere del ricco mercante Luca Pitti, che intendeva ostentare il proprio potere costruendo una residenza grandiosa, in aperto contrasto con la famiglia de' Medici, acerrima avversaria dei Pitti. Il destino volle che l'edificio, caduta in disgrazia la Famiglia Pitti, finisse proprio nelle mani dei Medici, quando nel 1550, la moglie di Cosimo I lo acquistò, insieme al parco e alla piazza antistante, come residenza di famiglia. Palazzo Pitti, aperto sui giardini di Boboli, rappresentava per i Medici un'alternativa più prestigiosa e appropriata rispetto alla residenza nel Palazzo Vecchio, che era l'edificio simbolo del passato repubblicano di Firenze. Cosimo e Eleonora decisero di farne una reggia principesca e incaricarono Bartolomeo Ammannati di completare e, soprattutto, di ingrandire l'edificio.
Raddoppiata la profondità del volume interno e con l'aggiunta delle ali laterali, il disadorno edificio quattrocentesco si trasformò nel più monumentale dei palazzi fiorentini del tardo-rinascimento. Il Palazzo sorge su una vasta piazza semicircolare. Oggi è sede di alcuni dei più importanti Musei fiorentini: la Galleria Palatina (con opere d'arte di Raffaello, Andrea del Sarto, Caravaggio, Bronzino e altri maestri), il Museo degli Argenti, la Galleria di Arte Moderna e la Galleria del Costume. Palazzo Pitti è famoso anche per i giardini che lo circondano: i giardini di Boboli, realizzati nel 1549 dall'Ammannati e, in seguito da Buontalenti, su volere di Cosimo I.
