Au XVIIème siècle, le roi James Ier commence une plantation de mûriers pour l'élevage de vers à soie à l'emplacement des actuels jardins du palais, une grande maison existait déjà sur le site à cette époque. Elle sera louée, en 1698, à l'homme qui lui a donné son nom, John Sheffield, le duc de Buckingham.
Elle reste la propriété des ducs de Buckingham jusqu'en 1762, quand George III acquiert le site pour en faire une résidence familiale privée pour sa femme, la reine Charlotte, mais le palais de St James reste le siège officiel de la cour. La maison fut remodelée et modernisée de nombreuses fois par la suite jusqu’à devenir le palais de Buckingham actuel.