تحيط بالمدينة العتيقة لأصيلة أسوار ضخمة يعود تاريخ بنائها إلى الحقبة البرتغالية في أواخر القرن الخامس عشر. ويطل جزء من تلك الأسوار على البحر مباشرة. وتخترق هذه الأسوار خمسة أبواب كبيرة تعود إلى فترات تاريخية مختلفة، اثنتان منها برتغالية وهي باب الحومر (في الجانب الشرقي) وباب البحر (في الناحية الشمالية الغربية). كما تتخلل السور أبراج مهمة كبرج البحر الذي يستعمل لمراقبة وصول ومغادرة الإمدادات والتعزيزات وبرج القامرة اللذان بنيا في بداية القرن السادس عشر. بنيت المدينة العتيقة على شكل مستطيل مقابل للشاطئ وهي مقسمة إلى أحياء رئيسية منها: القيسارية (حي الأسواق) وحومة المجيمع وحومة القريقية (الحي البرتغالي) والقصبة التي تعد النواة الأولى للمدينة. وتفصل بين هذه الأحياء عدة أزقة يسمى الواحد منها محجا ومن أهمها: محج القادرية وزقاق القاضي وزنقة التجارة ومحج الكتانية ومحج ابن حمدوش ومحج ابن عامر.