Изначально место нынешнего Успенского собора занимало (немного южнее от нынешнего) деревянное строение церкви Успения Пресвятой Богородицы, построенной в 1657 году. С этой датой связывают историю появление памятника, что превратило Успенский собор в один из самых старых зданий города (после Покровского монастыря).
Однако, несмотря на нынешнюю величественность, первоначально церквушка была невзрачной, тесной, холодной и бедной. Для богослужения даже не хватало книг, а молились прихожане перед бумажными иконами.
С увеличением города, а, следовательно, и численности населения, Успенская церковь не имела возможности вместить всех желающих прихожан. В связи с этим во второй половине 1680-х годов на месте церкви (современное расположение собора) возвели первый на Харьковщине каменный собор. Архитектурный тип храма именовался «крестовокупольный». Этот тип храмов был зарожден и пользовался широким распространением еще в Византии. Главы Успенского собора (их было пять) и вся поверхность крыши были покрыты дубовым гонтом. Также собор располагал каменной шатровой колокольней, под которой находились две каморы и погреб (их сдавали внаем, что приносило не малый доход).
С течением обстоятельств собор простоял не долго. В начале марта 1733 года в Харькове вспыхнул сильнейший пожар, который оставил после себя лишь каменную кладку стен. Не смотря на то, что через год он был восстановлен, по всему зданию в скором времени появились трещины. В связи с аварийным положением в 1770-х годах было принято решение о разборе старой кладки и возведении на этом месте нового собора, отвечающего требованиям екатерининской эпохи.
За основу для нового Успенского собора было взято здание московского храма Св. Климента (построенном в 1770 году). Особенностью данной архитектурной композиции являются отсутствие полукруглых абсид, а, следовательно, и алтарной части. Центральный световой барабан главного купола опирается на четыре пилона со скошенными углами, в свою очередь расположенные по углам четыре купола не сообщаются с внутренним храмовым пространством.
Внешнее убранство Успенского собора имеет черты классицизма, проявляющегося в сдержанном виде фасадов, а также барокко, которое нашло отражение в немногочисленных лепных украшениях (в виде херувимов).
Собор был завершен 1783 году. Он значительно превосходил по своей площади здание старого собора. В нем располагалось четыре престола. Главным престолом стал Успенский, южный был в честь Казанской Божьей Матери, северный – во имя Святой великомученицы Екатерины, четвертый престол был в честь Петра и Павла. Помимо иконостаса в соборе находились: икона Елецкой Божьей Матери и образ святителя Христова Николая, пользовавшиеся особым почтением среди верующих.
Однако возведение собора не стало конечным пунктом. В 1819 году было принято решение о строительстве новой колокольни, в которой должны были устроить теплый храм во имя Св. Благоверного Великого князя Александра Невского, в память Александра I и победы в Отечественной войне 1812 года.
После сбора многочисленных пожертвований в мае 1821 года начались работы по строительству колокольни, которые велись с перерывами вплоть до 1837 года под руководством архитектора К. А. Тона. В 1841 году был установлен на колокольне позолоченный крест весом в 400 кг и высотой в 5 метров.
В общей сложности работы были завершены в 1844 году. Многоярусная колокольня с крестом составила 89,5 метров. Было установлено 12 колоколов, вес которых варьировался от 16,1 тонны до 8 кг. Также были установлены в 1862 году часы парижской фирмы «Борель».
После прихода в Харьков большевиков Успенский собор использовался для разнообразных хозяйственных нужд, что в значительной мере способствовало разрушению памятника. Лишь в 1973 году были начаты реставрационные работы, в результате которых были укреплены фундамент, стены, пилоны, арки, были восстановлены барабаны центрального и боковых глав собора, заново вызолочен купол, возобновлена наружная и внутренняя отделка. С 1986 года в здании Успенского собора действует Дом органной и камерной музыки.
Грандиозность собора Успения Пресвятой Богородицы является одной из визитных карточек Харькова. По сей день собор является самой высокой точкой города, словно маяк, направляющий в самое сердце, в его центр.
