Şehrin kuzeyinde yalçın kayalar üzerinde inşa edilmiş olan kalenin kimler tarafından yapıldığı kesinlikle bilinmemektedir . İlk yapının Ermenilere ait olduğu öne sürülse de , Bağrat sülalesi zamanında (885" 1044) varlığından söz edilen Bayburt Kalesi'nin çok daha önce miladın ilk yüz yıllarında mahalli prens ve mücadelelerinde rol oynadığı anlaşılmaktadır . Khorenli Movses'den öğrenildiğine göre Bağrat'ların geliştikleri devrede 1. asırda Bağrat'lı Piurad oğlu"Senbad" (Asbed) süvari başbuğu ve batı ordusu başkumandanı olarak atabeyliğini yaparak kurduğu hükümdar çocuklarını kendi müstahkem yerleri olan"Pepert" yani Bayburt Kalesi'ne 58 yıllarından önce kurulduğu ortaya çıkmaktadır . Kale Türklere geçmeden önce Roma , Ermeni , Bizans , Arap ve Kommenos hakimiyetlerinde kalmıştır . Zengin bir tarihe sahip olan Bayburt Kalesi'nin bir çok defa onarım gördüğü duvarlarında görülen farklı inşaat ve tarihi kaynaklardan anlaşılmaktadır . Buna göre Selçuklu hükümdarı II.Kılıçarslan'ın oğlu ve Erzurum Meliki olan Tuğrul Şah (Ö.622/1225) özellikle Trabzon İmparatorluğu'ndan gelecek saldırılara karşı müstahkem bir mevki olan bu kaleyi âdeta yeniden inşa ettirmiştir . Kale üzerinde bu yapımı belgeleyen 20 adet Arapça kitabe mevcuttur . Daha çok kapılarla şehre bakan cephelerdeki burçlarda yoğunlaşan kitabelerin 17. si Tuğrul Şah dönemi 1 adeti Kanûnî dönemi diğer iki adeti okunamamıştır . Bir müddette Akkoyunlular'ın elinde kalan kale 1514 yılında Osmanlılara intikal ettikten sonra Kanûnî Sultan Süleyman ve III. Murat dönemlerinde de büyük onarımlar görmüştür . 1647'de Bayburt'u ziyaret eden Evliya Çelebi kale içinde 300 evlik bir mahalle ile Ebü'l Feth Camii'nin bulunduğu yazmaktadır . Zaman zaman işgal ve tahribata uğrayan kale en son olarak 1828 Osmanlı " Rus savaşı sırasında Ruslar tarafından büyük çapta tahrip edilmiştir .

Ayrıca bu kaleye "Çinimaçin" kalesi de denilmektedir . Kaleye bu ismin verilmesine sebep olan çini süslemelerdir . Bunların dış yüzeylerinde tezyinat olarak mor ve yeşil renkli firuze çiniler kullanılmıştır . Gerek savaşlar , gerekse tahribat yüzünden bu gün bu çinilerden eser kalmamıştır .

Bayburt Kalesi , Dede Korkut hikayelerinden "Kam Büre Oğlu Bamsı Beyrek Boyunu Beyan Eder" adını taşıyan hikayede Beyrek (Bey Böyrek veya Bamsı Böyrek)'in fethedip ün kazanmak için yola çıktığı kaledir .

       Bu kadar zengin tarihe sahip kalede Bayburt'a nazır bir yerde semaverde çay içmenin zevki de bir başka oluyor.Bayburt ve yakın illerden gelen misafirler Bayburt Kalesinde o tertemiz havayı teneffüs ederken semaverde demlenmiş tavşan kanı misali çayı yudumlamanın da zevkine varıyorlar.