Perché sur une falaise à 130 mètres au-dessus du niveau de la mer dominant Carthage et le golfe de Tunis, Sidi Bou Saïd porte le nom d'un saint : Sidi Bou Saïd. Les Carthaginois puniques puis les Romains étaient déjà présents dans ce lieu, surnommé Cap Carthagena (promontoire de Carthage) dans l'Antiquité. Après la conquête arabe au VIIème siècle et la chute de Carthage, ce promontoire garde sa position stratégique par la construction de tours de guet et d'un phare pour la défense des côtes nord-est de la Tunisie. Ce qui explique l'appellation de la colline sur laquelle se niche Sidi Bou Saïd : Djebel El Manar (« Montagne du phare »). Quant au nom du village, c’est tout simplement Sidi Bou Saïd (1156-1231), qui à la fin de sa vie se retira au sommet du Djebel El Manar, la colline dominant le cap Carthage, pour monter la garde et y enseigner le soufisme.
Dès le XVIIème siècle, le charme de ce village séduit la bourgeoisie tunisoise et la famille du bey qui y font construire de luxueuses demeures arabo-musulmanes.
Le 28 août 1915, un décret impose le bleu et le blanc interdisant toute construction anarchique sur le promontoire, faisant de Sidi Bou Saïd le premier site classé au monde.
Jusqu'en 1825, Sidi Bou Saïd est interdit aux non-musulmans. À partir de cette date, le village bleu et blanc attire de nombreux artistes, musiciens et écrivains, dont Chateaubriand, Gustave Flaubert, Paul Klee, August Macke, Alphonse de Lamartine, Georges Duhamel, André Gide, Colette et Simone de Beauvoir. Michel Foucault y rédige L'Archéologie du savoir.