Армянский квартал, расположенный в юго-западной части Старого Города, занимает около одной шестой его территории. Считается, что он расположен на месте дворца царя Ирода Великого.
Первые армянские поселенцы, предположительно, появились в Иерусалиме уже в конце I века. Армения стала христианским государством раньше Византии, в 301 году, при царе Тердате III, а после Халкидонского собора 451 года армянская Церковь стала самостоятельной, со своими особенностями христианской догматики, определяемой как монофизитство.
В IV веке небольшая община монахов и паломников проживала на горе Сион, у Сионской Горницы. При императоре Юстиниане имущество и недвижимость общины, отступившей от Православия, были конфискованы, а сама она изгнана. Стремясь вернуть утраченное, Армянская Церковь признала власть халифа Омара ибн Хаттаба, когда тот завоевал Иерусалим, и согласилась по возвращении в Святой Город платить подушный налог.
С приходом в Иерусалим крестоносцев община стала разрастаться, образуя этнический квартал в том месте, где он находится сейчас. В XII веке был возведен кафедральный собор Святого Иакова, и поныне остающийся духовным центром квартала. Во всем христианском мире собор известен своей святыней - гробницей святого Иакова, брата Господня, первого епископа Иерусалима.
При власти фатимидских султанов армянские христиане страдали в равной степени с другими общинами, но в период мамлюкского правления (1250-1517) обрели привилегированное положение. Им было даже позволено воздвигнуть стену вокруг квартала. В Оттоманский период (1517-1917) община также умела находить язык с турецкими властями. Рост ее численности был отмечен даже после геноцида армян в Анатолии в 1917 году - за счет беженцев с севера Турции. Не исключено, однако, что самих иерусалимских армян спасла от грозивших бед британская оккупация 1917 года, продлившаяся до 1948 года.
Обе последовавшие в Палестине войны нанесли общине невосполнимый урон. Большое число армян уехало из Иерусалима во время Войны за независимость 1948 года, а во время Шестидневной войны 1967 года квартал оказался в зоне интенсивных бомбардировок, вызвавших многочисленные жертвы и разрушения. Большинство семей покинуло город. До 1948 года в квартале проживало до 16000 армян. После 1967 года их осталось немногим больше 1000. Многие пустовавшие здания отошли Еврейскому кварталу.
Тем не менее, армянская община остается сплоченной и энергичной. В квартале есть национальные школы, работает множество магазинов. Квартал славится двумя библиотеками – библиотекой Патриархата, где хранятся уникальные древние манускрипты, и библиотекой Калюста Гульбекяна, знаменитого мецената, много сделавшего для общины в первой трети прошлого века.
Ныне ее составляют в основном люди творческих профессий – художники, фотографы, серебряных и гончарных дел мастера. Армянская декоративная керамика из Иерусалима славится по всему миру.