გადმოცემით სიონი ერთ-ერთი იმ ტაძართაგანი იყო, რომელიც მეფე ვახტანგ გორგასალმა ააგო თბილისში V ს-ის II ნახევარში. 570-80-იან წლებში ქართლის ერისმთავარმა გუარამ კურაპალატმა საფუძველი დაუდო სიონის ახალ ტაძარს. მშენებლობა, რომელშიც მონაწილეობდნენ როგორც ერისთავები ისე ქალაქის მოსახლეობა, დასრულდა ერისმთავარ ადარნასეს დროს, 620-იან წლებში.

მომდევნო ხანაში სიონი არაერთხელ დაინგრა და აღდგა. სავარაუდოდ ტაძარი საფუძვლიანად განაახლეს მას შემდეგ, რაც 1122 წელს მეფე დავით IV აღმაშენებელმა თბილისი აიღო და საქართველოს სამეფო ტახტი აქ გადმოიტანა. 1226 წელს ხვარაზმელთა შაჰმა ჯალალ ად-დინმა ჩამოანგრია ეკლესიის გუმბათი, რომელიც, როგორც ჩანს, მალევე აღადგინეს. თემურლენგის 1386 წლის შემოსევის დროს დაზიანებული შენობა შეაკეთა მეფე ალექსანდრე I-მა. XVII ს-ის დასაწყისში ირანელთა მიერ თბილისის რამდენიმეგზის აოხრების შედეგად დანგრეული ტაძარი 1657 წელს აღადგინა მთავარეპისკოპოსმა ელისე საგინაშვილმა, მაგრამ 1668 წლის მიწისძვრამ შენობა ისევ დააზიანა.

1710 წელს მეფე ვახტანგ VI-მ განაახლა ტაძრის გუმბათი, საპირე წყობა და სახურავი. უკანასკნელი დიდი დაზიანება შენობამ განიცადა 1795 წლის ირანის გამგებლის აღა მაჰმად ხანის მიერ თბილისის აოხრების დროს. XIII ს-ში ტაძარზე სამხრეთიდან მიშენებული წმ. მიქაელ მთავარანგელოზის ეგვტერი XVII ს-ში საფუძვლიანად განაახლა მთავაერპისკოპოსმა ელისე საგინაშვილმა. XIX საუკუნის დამდეგისათვის ტაძარი საფუძვლიანად აღადგინეს, ხოლო იმავე საუკუნის შუა წლებში ხელახლა მოიხატა რუსი მხატვრის გ. გაგარინის ესკიზების მიხედვით. 1980-83 წლებში ტაძარი გარედან ახლად შემოსეს თლილი ქვით, ამავე დროს ტაძარს ჩრდილოეთიდან მიაშენეს წმ. ვახტანგ გორგასლის ეგვტერი.