與此同時，北遼滅完後，
北遼大將耶律大石率軍西行，
公元1124年，率軍西行的耶律大石，到達可敦城（今蒙古國布爾乾省青托羅蓋古回鶻城）建立根據地，
公元1132年，耶律大石在葉密立城登基稱帝，號“菊兒汗”，群臣又尊漢號為“天佑皇帝”，建元延慶，西遼正式建立。
而此時，經過多年的政治演變，
喀喇汗王朝汗桃花石族的兩大係已完全形成，
即長支阿裡係和幼支哈桑係。
起初，王朝的統治權控製在阿裡係手中，但玉素甫卡迪爾汗占領喀什噶爾後，王朝的統治權轉到哈桑係手中。
公元1041年，伊卜拉欣用武力奪取布哈拉後，阿裡係控製了河中地區，而哈桑係隻控製王朝東部。
伊卜拉欣自稱桃花石·博格拉·喀喇汗，完全獨立自主，不承認東部喀喇汗為宗主。
於是在中亞地區形成了完全平行的兩個獨立王朝——東部喀喇汗王朝和西部喀喇汗王朝。
大約自1041年起，喀喇汗王朝正式分裂為二，
西汗為阿裡後裔，通稱阿裡係，領有河中地區及費爾乾納西部，以撒馬爾罕、布哈拉為都城；
東汗為哈侖·卜格拉汗後裔，通稱哈侖或哈散係，領有怛邏斯、白水城、石城、費爾乾納東部、七河流域和喀什噶爾，以八剌沙袞為政治、軍事都城，以喀什噶爾為宗教、文化中心。
公元1089年，塞爾柱王朝攻下布哈拉，
西部喀喇汗王朝從此在政治上成為塞爾柱王朝的附庸；
東部喀喇汗王朝在1130年，也曾一度表示臣服於塞爾柱王朝。
1124年，到達西域的耶律大石，曾經帶領少量部眾逃亡至東喀喇汗汗庭請求避難，
不料此時的東喀喇汗朝自顧不暇，
耶律大石遂聯合3萬回鶻族人，駐紮葉密立，開始發展自己的勢力，
更是在公元1132年，於葉密立城，登基稱帝，建立西遼。
公元1134年，東部喀喇汗王朝大可汗伊卜拉欣，同葛邏祿首領和康裡首領不和，發生衝突，請求耶律大石出兵支援。
耶律大石趁機發動政變，占領八剌沙袞，作為自己的都城，
至此東部喀喇汗王朝勢力大減，轄地隻有喀什噶爾、阿克蘇與和田地區。
而西部喀喇汗王朝，
從11世紀末、12世紀初起，已受塞爾柱突厥王朝（1038～1194）之挾製，
公元1137年，西遼大軍在和氈，擊潰西部喀喇汗王朝的軍隊。