يعتبر مسجد سيدي علي الشيخ أحد الآثار الرومانية الشاهدة على عراقة المدينة، وتجذّرها في أعماق التاريخ القديم، حيث استقطب الكثير من العلماء والأئمة على مر الأزمنة والعصور، وآخرهم الشيخ الزهير الزاهري والإمام الوردي.
تُجمع المصادر على أنّ بناء هذا المسجد شيّد في العهد الروماني، حيث كان في بادئ الأمر عبارة عن معبد لآلهة البحر والمحيطات (نبتون)، وهذا ما جعله يُطل مباشرة على الواجهة البحريّة من الجهة الشرقية، ويوجد عمودان يرتكز عليهما المسجد يعودان لذات الفترة، كما يوجد 21 عمودا تحتوي على زخارف ترجع لنفس العهدة الزمنية.
وبعد أنّ منّ الله على هذه المنطقة بنعمة الإسلام، تحوّل هذا المعبد إلى مسجد تقام فيه خمس صلوات في اليوم، ويدرس فيه القرآن وكان أول من درس به هو الشيخ سيدي علي الكبير وقد أخذ المسجد اسمه، ويقال أنّ ضريحه أيضا موجود بداخله.
وفي عهد الأتراك تعهّد الحاكم أحمد باي بن علي القلي أحد سكان المنطقة أنهه سيبني لهم مسجدا في حال أن وفقه الله وأصبح حاكماً، وبالفعل كان له ذلك ووفّى بعهده، وبُني المسجد سنة 1756م في المكان الذي وجد فيه المعبد.
ولأنّ المسجد كان صغير المساحة فلم يتّسع للكثير من المصلين في بداياته، وتقول بعض المصادر أن المصلين كانوا يتوضأون بماء البحر نظرا لقربه الكبير من المسجد، وبعد مدة من الزمن ومع بداية ارتفاع عدد السكان وتزايد عددهم تم توسعة المسجد، فأنشأ للمسجد مكانا للوضوء من الناحية الخلفية، التي كانت أصلا خارج المسجد وضمّت فيما بعد إليه.
وفي سنة 1933م تمّت توسعة المسجد، وأنشئت سدة به تتسع لحوالي 60 مصليا.
وفي بداية سنوات الثمانينيات تم بناء ملحقات تابعة لهذا المسجد، ولأن المسجد مصنف كمعلم أثري ولا يمكن التغيير فيه، فقد تقرر بناء ملحق له للمحافظة على آثاره وعراقته.
عرف المسجد عدة عمليات تجديد وترميم خلال فترات متفرقة، كانت أولها سنة 1933 في الحقبة الاستعمارية، وآخرها سنة 2013 أين خصص له مبلغ مالي من طرف الوزارة الوصية، وصنف ضمن المعالم التاريخية والأثرية.
