Старый город окружен каменными стенами (длина - 4 км, высота - 12 м) с 35-ю башнями. Большая часть стен возведена в период турецкого правления (XVI) на месте более ранних укреплений. Часть западной наружной стены представляет собой аутентичную стену разрушенного (70) римлянами Иерусалимского Храма. Южная стена также расположена на месте стены Иерусалимского Храма (сохранились остатки храмовых ворот и ступеней), но надстраивалась в XVI в. Восточная стена почти полностью обновлена в период турецкого правления.

В Старый город ведут 7 ворот. Через Яффские (Хевронские) отправлялись караваны в Яффу, древний израильский порт; в 1898 г. ворота расширили, пробив брешь для кареты германского императора Вильгельма II. Новые ворота устроены в 1889 г., чтобы католикам удобнее было проходить в представительство Ватикана. От Шхемских (Дамасских) ворот начиналась дорога в Шхем и Дамаск; ворота украшены восточным орнаментом и считаются самыми красивыми в Старом городе. Ворота Ирода (Цветочные) названы в честь Ирода Антипы, сына царя Ирода, так как ошибочно считалось, что рядом с воротами находилась его резиденция. Львиные ворота украшены барельефами двух пар львов (лев - символ колена Иегуды, откуда происходит царь Давид, основавший Иерусалим). Название Мусорных ворот восходит к византийским временам и связано с тем, что через эти ворота вывозили мусор в долину Кидрон. С Сионскими воротами связано много легенд; в одной из них говорится, что строители забыли обнести гору Сион стеной, за что их обезглавили по приказу султана Сулеймана Великолепного, а ворота пришлось пробить в стене, огибавшей Армянский квартал, что позволило соединить его с Еврейским кварталом и горой Сион. На Сионских воротах много отметин - следы пуль, оставшиеся со времен Войны за независимость (1948) и Шестидневной войны (1967).

У Шхемских ворот по древней винтовой лестнице можно подняться наверх и совершить прогулку по стенам Старого города.