Comme leur nom l’indique, les maisons victoriennes se sont développées durant l’époque victorienne (1849-1915). La ville en aurait compté jusqu’à 48 000 mais beaucoup ont été détruites lors du tremblement de terre, suivi de l’incendie, de 1906, notamment dans le quartier de Nob Hill. 16 000 autres ont été démolies lors de la Seconde Guerre mondiale, et beaucoup furent utilisées à cette période à des fins militaires. Il en reste aujourd’hui 14 000, principalement dans les quartiers d'Alamo, d'Haight Ashbury, de Russian Hill et de Castro.
Le saviez-vous ? Les maisons victoriennes sont aussi appelées Painted Ladies en raison du livre “Painted Ladies - San Francisco’s Resplendent Victorians” de Elizabeth Pomada et Michael Larsen.