Bayburt ve yöresi Türkler’in Anadolu’da ilk yerleştikleri bölgelerdendir.

Tuğrul Bey’in Anadolu seferi (1054) sırasında Bayburt, Çoruh nehri ve Karadeniz dağlarına (Parhar) kadar uzanan sahalara akınlarda bulunan Selçuklu kuvvetlerinin hücumlarına mâruz kaldı ise de fethedilemedi. Kesin Türk hâkimiyeti Malazgirt Zaferi’nden sonra gerçekleşti. Şehir, 1072’den 1202’ye kadar bazan Erzurum yöresinde hüküm süren Saltuklular’ın, bazan da Dânişmendliler’in hâkimiyetinde kaldı. Bir ara Trabzon İmparatoru I. Alexis Comnen’in kumandanı Theodore Gabras tarafından işgal edildiyse de kısa süre sonra yeniden Dânişmendli hâkimiyetine girdi (1098). Selçuklular 1202’de Saltuklu Devleti’ne son verince Bayburt’u da ele geçirdiler. Bayburt’un asıl gelişmesi, Süleyman Şah’ın kardeşi Erzurum Meliki Mugısüddin Tuğrul Şah ve oğlu Cihan Şah (1202-1230) döneminde oldu. Tuğrul Şah Bayburt Kalesi’ni Trabzon İmparatorluğu’ndan gelebilecek tehlikelere karşı yeniden inşa ve tahkim etti. I. Alâeddin Keykubad zamanında Moğollar’a karşı sınırlar kuvvetlendirilir ve yeni kaleler yapılırken Bayburt Erzurum ile birlikte Anadolu Selçuklu Devleti’nin merkezi olan Konya’ya bağlandı. 1243 Kösedağ Savaşı’nın ardından Moğollar’ın Anadolu’yu istilâsı sırasında şehir yapılan antlaşma gereği Selçuklu idaresinde kaldı. Bu durum, 1291’de burada II. Gıyâseddin Mesud adına para basılmasından anlaşılmaktadır.

İlhanlılar devrinde Tebriz-Trabzon yolu üzerinde bulunması dolayısıyla daha da gelişen Bayburt, Ceneviz ve Venedik kervanlarının konakladığı bir yerdi. Moğolistan’a giderken buraya uğrayan Marco Polo şehirde zengin gümüş madenlerinin bulunduğunu belirtir. Hatta İlhanlılar buradan yüklü bir vergi geliri (yılda 21.300 dinar) temin ediyorlardı. Bu dönemde Dârülcelâl unvanı ile anılan ve iktisadî bakımdan canlılık kazanan şehir aynı zamanda küçük bir kültür merkezi durumundaydı. Burada Mahmûdiye ve Yâkutiye medreseleri kurulmuş, Mevlevîlik gelişme göstermiş, ayrıca ahîlik teşkilâtı oldukça yayılmıştı. Son İlhanlı Hükümdarı Ebû Said Bahadır Han’ın ölümünden sonra (1334) Bayburt Eretnaoğulları’nın eline geçti. Eretnalılar döneminde zaman zaman Erzincan emîrlerinin hücumlarına mâruz kalan ve onlar tarafından zaptedilen şehir daha sonra Mutahharten’in idaresine girdi. Fakat çok geçmeden Kadı Burhâneddin zamanında Akkoyunlu beylerinden Kutlu Bey oğlu Ahmed Bey’in yardımıyla alındı ve ardından Kadı Burhâneddin tarafından Ahmed Bey’e iktâ edildi. Bir ara Karakoyunlu Hükümdarı Kara Yûsuf tarafından zaptedildiyse de az sonra Akkoyunlu Karayülük Osman Bey bu bölgeyi yeniden ele geçirdi ve şehri kardeşinin oğlu Kutlu Bey’e verdi. Bundan sonra uzun süre Akkoyunlular’ın elinde kalan şehir ve yöresi 1501’de Safevîler tarafından alındı. O sıralarda Trabzon sancak beyi olan Şehzade Selim (I) bu bölgeye akınlarda bulundu (1507), tahta çıktıktan sonra da İran seferine giderken bir kısım kuvvetleri Bayburt üzerine gönderdi. Yanya sancak beyi Mustafa Bey ile Trabzon sancak beyi Bıyıklı Mehmed Bey (Paşa) idaresindeki Osmanlı kuvvetleri, Şah İsmâil’in emîrlerinden Kara Maksûd-i Sultânî’nin müdafaa ettiği Bayburt’u aldılar (Ekim 1514). Bayburt Erzincan ile birlikte Trabzon Beyi Bıyıklı Mehmed Paşa’ya verildi ve bir sancak merkezi haline getirildi. Osmanlı idaresinde Bayburt, doğu sınırına yakın bir kale-şehir olarak stratejik önemini bir süre korudu. Kanûnî’nin İran seferleri sırasında önemi daha da artan Bayburt Kalesi 1541’de esaslı bir tamir gördü. 1553’te Şah Tahmasb’ın akınlarına mâruz kalan şehir XIX. yüzyıla kadar önemli bir olaya şahit olmadı. 1828-1829 Osmanlı-Rus savaşı sırasında Rus birliklerinin işgaline uğradı. 1878 ve 1916’da da Ruslar tarafından işgal edilen Bayburt bu işgaller sırasında geniş ölçüde tahrip edildi. İstiklâl Harbi başlarında Şeyh Eşref’in çıkardığı isyan Hâlid Bey kuvvetleri tarafından bastırıldı.

Osmanlı hâkimiyeti altında bir sancak merkezi olan Bayburt, İran’a ulaşan yolun üzerinde bulunması ve stratejik mevkii dolayısıyla önemli bir yerleşim merkezi idi. XVI. yüzyıla ait tahrir defterlerine göre şehirde on mahalle bulunuyordu. Bunlar Ciğerşin, Cami (Câmi-i Kebîr), Şeyh Hayran, Kadıoğlu, Ferruhşad Bey Mescidi, Akkünbed, Şingâh, Orta, Taş ve Tuzcuzâde mahalleleriydi. Şehrin toplam nüfusu 1516’da 2477, 1520’de kale muhafızları dahil 4935, 1530’da 3231 ve 1591’de 5630 olup XVI. yüzyıl boyunca gelişme göstermişti. Bu yüzyılda ortalama olarak nüfusun % 40’ını müslümanlar, % 60’ını ise hıristiyan unsurlar oluşturuyordu. XVII. yüzyılda müslüman nüfusta artış görüldü ve bu nisbetler tersine dönmeye başladı. Nitekim 1642’de şehirde toplam 3600 civarındaki nüfusun % 65’ini müslümanlar teşkil ediyordu. Bu artışta muhtemelen XVII. yüzyıldaki karışıklıklar sebebiyle kır kesiminden müstahkem şehirlere doğru meydana gelen nüfus akışının da önemli rolü olmuştu. Şehir Osmanlı hâkimiyeti döneminde de bir müddet iktisadî canlılığını korudu. Fakat XVI. yüzyılın ikinci yarısında Erzurum ve Erzincan gibi şehirlerin önem kazanması Bayburt’u ikinci plana düşürdü. XVI. yüzyılda şehirde canlı bir ticaret hayatı hâkimdi, pazarlanan veya transit olarak buradan geçen ticarî mallardan alınan vergiler önemli miktarlara ulaşıyordu. Ayrıca bu sıralarda şehirde kumaş dokumacılığı ve ticaretine işaret eden bir boyahane yer alıyordu. Evliya Çelebi şehri ziyareti sırasında burada her pazar günü Kadızâde Mehmed Bey Camii önünde pazar kurulduğunu, 5-10.000 kişinin alışveriş ettiğini, 300 dükkân ve bir bedestenin bulunduğunu, kıymetli seccade ve kilimlerin başka yerlere ihraç edildiğini belirtir. Ayrıca şehirde kale içinde 300 ev ile bir caminin, kalenin Nöbethâne Kapısı’ndan aşağı doğru uzanan asıl şehirde 1000 evin yer aldığını ve on dokuzunda müslüman ahalinin oturduğu toplam yirmi altı mahallenin bulunduğunu kaydeder. Halkının çoğunun vaktiyle Tire’den sürgün olarak getirtilen 3000 kişiden çoğaldığını belirtmesi ise şüphelidir. Evliya Çelebi’nin verdiği rakamlardan Bayburt’un XVII. yüzyıl ortalarında 6000’e ulaşan bir nüfusa sahip olduğu ve aşağıya, dar vadiye doğru yayılmış bulunduğu anlaşılmaktadır.

Bayburt kültürel gelişmesini Osmanlılar döneminde de sürdürdü. İlhanlılar zamanında inşa edilen Yâkutiye ve Mahmûdiye medreselerinde Bayburtlu Ahî Mehmed ve Ekmeleddin el-Bâbertî gibi önemli şahsiyetler yetişmişti. Osmanlı dönemine ait kayıtlarda da Kadı Mahmud, Bekir Çelebi, Hoca Ali, Şeyh Hayran, Şeyh Veysel, Şeyh Haydar, Seyyid Yâkub, Sultan Fakih ve Abdülvehhâb Gazi gibi birçok şahsın ilim ve kültür hayatında önemli roller oynadıkları görülmektedir. Şehirde ayrıca başta kale olmak üzere birçok tarihî eser de meydana getirilmişti. XVI. yüzyıla ait defterlere göre iki cami, dokuz mescid, dört medrese, beş zâviye, bir hankah, iki muallimhâne, iki hamam vardı. Ancak bunların çoğu bakımsızlık ve tahribat sebebiyle bugüne ulaşamamıştır. Bu eserler arasında, Selçuklu dönemine ait olan ve bugün tamamen yıkılıp eski planına göre yeniden yapılan Câmi-i Kebîr, Şeyh Veysel Camii, Ferecullah Mescidi, Bekir Çelebi Mescidi, Ahî Ahmed-i Zencanî Mescid ve Zâviyesi, Kadızâde Mescidi, Hoca Ali Mescidi, Hasaniye Mescidi, Şeyh Hayran Mescidi, Şingâh Mescidi, Haydarîhâne Zâviyesi, Hoca Yâkut (Yâkutiye), Sultan Fakih, Seyyid Sâlih zâviyeleri sayılabilir.

Osmanlılar zamanında bir sancak merkezi durumunda olan Bayburt fethedildikten hemen sonra Erzincan ile birlikte sancak statüsü kazanmıştı. Sancak beyi daima Bayburt’ta otururdu. Sancak, Erzurum beylerbeyiliği kurulana kadar zaman zaman Diyarbekir’e, zaman zaman da Rum beylerbeyiliğine bağlandı. Irakeyn Seferi sırasında (1534) Kemah ve Bayburt sancakları birleştirilerek Dulkadıroğulları’ndan Alâüddevle’nin torunu ve Şâhruh’un oğlu Mehmed Han’a verildi. Sefer dönüşü Erzurum beylerbeyiliği kurulup Mehmed Han’a verilince (1534) Bayburt ve Kemah sancakları da paşa sancağı haline geldi. Erzurum o sıralarda harap bir halde bulunduğu için 1548’e kadar buraya tayin edilen ilk beylerbeyiler Bayburt’ta otururlardı. 1551’den sonra sancak statüsünü kaybeden Bayburt Erzurum’un bir kazası oldu. 1631’de yeniden adı geçen eyaletin livâsı haline geldiyse de daha sonra yine bir kaza olarak Erzurum’a bağlandı. 1878 Berlin Antlaşması ile Kars ve Ardahan Ruslar’a verilince Çıldır sancağının merkezi oldu, fakat idarî zorluk yüzünden sancak merkezi 1888’de tekrar Erzurum’a nakledildi.

1516-1518’de Bayburt sancağı Bayburt, Kelkit-Sadak, Kovans, Tercân-ı Ulyâ, Tercân-ı Süflâ nahiyelerinden meydana geliyordu. 1520-1530 döneminde sancağın sınırları genişledi, bağlı kaza ve nahiye sayısı arttırıldı. Bu sırada sancağa Şogayn, Erzurum, İspir, Tekman, Yağmurdere de bağlı bulunuyordu.