En 1664, la propriété de l'Alcazar de Jerez passe entre les mains de M. Bartolomé de Villavicencio. Les Villavicencio étaient une des familles les plus influentes de la ville. En faisant l'acquisition de la forteresse, ils ont initié la construction de ce palais de style baroque. Au deuxième étage du palais Villavicencio est exposée l'ancienne pharmacie municipale datant du XIXème siècle, avec le mobilier d'origine en bois taillé ainsi que les pots et les boîtes à pharmacie de l'époque. La tour du palais comprend la Chambre noire qui offre des images de la ville de Jerez en mouvement et en temps réel.