У середині XIX ст. у чернівецьких вірмен-католиків визріла потреба мати свій храм. Для його проектування був запрошений чеський архітектор Йосеф Главка, який тоді працював над Резиденцією Буковинських митрополитів. Будівництво церкви розпочалось у 1869 р. в історичному вірменському кварталі, а 9 жовтня 1875 р. творіння геніального Главки було урочисто освячене на честь Святих Апостолів Петра і Павла.
Храм будувався за підтримки представників різних конфесій. У списку благодійників-меценатів – австрійський цісар Франц Йосиф та його дружина.
В архітектурній композиції Вірменської церкви Йозеф Главка оригінально поєднав елементи романського, візантійського й готичного стилів, характерні для середньовічних буковинських монастирів, із традиціями вірменського культового зодчества. Завдяки чудовій акустиці храм від самого початку використовували як концертну залу: тут влаштовували вечори церковного співу і музики, звучав орган.
Перед храмом були встановлені статуї святих апостолів Петра і Павла.
Храм діяв до приходу на Буковину радянської влади. В цей період він постраждав найбільше. З 80-х рр. ХХ ст. у колишній церкві знаходиться органний зал Чернівецької обласної філармонії.