Kökeninin Sivas İli Kangal İlçesinden geldiği tahmin edilmektedir. Buna rağmen Yozgat, Kayseri, Çorum, Tokat, Erzurum ve Erzincan'da da saf kanlılarına rastlamak mümkündür. Keza ülkemiz köpek ırklarından Karakaya ve Kızılkaya gibi isimlerle anılan ve ancak kanlarında Türk çoban köpeği gibi bir başka yabancı isim taşımayan ırklarımızla melezlerine ülkemizin her yöresinde rastlamak mümkündür. Ancak birinci derecede saf Kangal Çoban Köpeğini Sivas veya özellikle Kangal İlçesinde bulmamız mümkündür.
17. Yüzyılda Evliya Çelebi Seyahatnamesinde aslan kadar kuvvetli olarak tarif ettiği bu köpeklerden bahsetmektedir. Osmanlı İmparatorluğu kurucularının bu köpeği beraberlerinde Anadolu'ya getirdikleri ve Osmanlının Avrupa'ya yayılmasıyla çoğu Avrupa Çoban Köpeğinin de bu ırktan türediği sanılmaktadır.
Osmanlı İmparatorluğu dönemi arşivlerinde, Kangal köpeklerinden bahsedilmekte pedigrili yetiştiriciliği yapıldığı bahsedilmektedir.
Kangal Çoban Köpeklerinin bu kadar eskilere dayanan tarihi geçmişten günümüze kadar ırk özelliğini bozmadan gelebilmesini, geçimini koyunculuktan sağlayan çiftçilerin en güvenilir dostu olmasına ve Dünya köpek ırkları arasında kurtlara karşı koyabilen tek köpek ırkı olmasına bağlanmaktadır. Kangal köpekleri en zor iklim ve çalışma şartlarında verilen görevi cani pahasına yerine getirirler. Bakım ve beslenme şartları diğer köpek ırklarına göre daha basit ve ekonomik olması neslinin devamını sağlamıştır.
