Les Carthaginois puis les Romains auraient utilisé les hauteurs de l'actuel Sidi Bou Saïd pour y établir une tour à feu. Une mosaïque de six mètres sur cinq prouve d'ailleurs l'existence ancienne d'une villa romaine.

Au xie siècle, les hauteurs du village sont choisies par les Almoravides pour la défense des côtes nord-est de la Tunisie. Des tours de guets et des tours à feu y sont construites. Elles donnent d'ailleurs l'appellation de la colline : Djebel Menara (« montagne du phare »).

Abou Saïd Khalaf Ibn Yahya el-Tamimi el-Béji, alias Sidi Bou Saïd, enseigne dans la rue qu'il habite à Tunis et qui a depuis conservé son nom. Vers la fin de sa vie, il se retire sur le Djebel Menara, dans le ribat construit sur la colline dominant le cap Carthage, pour monter la garde et y enseigner le soufisme. Il est alors surnommé « maître des mers » à cause de la protection que les marins naviguant à proximité du site pensent recevoir.

Il meurt en 1231 et est enterré sur la colline. Sa zaouïa constitue sans doute le premier élément du village qui prendra son nom. Des traces archéologiques repérées sur le versant nord laissent penser qu'un mur d'enceinte contourne alors le site.