十二世紀末，一個名為梅恩哈德的教士渡海來到了尚未開化的波羅的海，當地分布著大大小小的部落，他們多數信仰原始的多神教，對信仰上帝的天主教一無所知。教士立誌要將上帝的信仰傳播至寒冷的波羅的海，於是他在伊克修爾修建了第一座天主教教堂，由此開啟天主教對波羅的海信仰征服。
97年，不萊梅大主教任命貴族貝特霍爾德為烏克斯居爾的主教，接替了已經病逝的梅恩哈德。作為第二任波羅的海宗教傳播者，貝特霍爾德一改前任和平的傳教模式，鼓吹用軍事力量征服不肯合作的當地部落。
次年7月，貝特霍爾德利用德意誌諸侯和商團的支持，招募了一支約500人雇傭軍，這些人第一次讓波羅的海土著見識了騎士們恐怖的夾槍衝鋒，以及防禦力極強的鎖子甲。在一番交戰後，500西歐雇傭軍竟然擊敗了數千當地土著，其損失不過人而已。
此戰之後，天主教與當地人的關係急轉直下，雙方都意識到隻有通過戰爭才能解決兩者之間的衝突。隻可惜，貝特霍爾德不是能挑起戰爭大梁的主教，因為那唯一戰死的便是他自己。
貝特霍爾德死後，不來梅大主教特意挑選了年輕且富有進取精神的阿爾伯特為新的主教。和前兩任主教比起來，阿爾伯特的戰略意識更強，他積極遊說周邊勢力，得到了德意誌商團和諸侯的大力支持，還從教皇那裡爭取到了教區自治的特許狀。
公元200年，教皇號召成立北方十字軍，意圖在波羅的海武裝傳教。當年春季，阿爾伯特率領各地征募而來的500十字軍渡海前往戰場。彆看他們人數不多，但這支軍隊明顯比之前的雇傭兵更加善戰，他們不僅裝備有弓弩、長劍、長矛、斧槍和盾牌，還配備了全身鎖子甲和鋒利無比的騎槍，是當地土著難以戰勝的對象。於是乎，識時務的當地土著被迫交出人質，承認了天主教勢力的遷入。
為了鞏固新得到的土地，阿爾伯特四處召集工匠，鼓勵德意誌人到德維納河口殖民，不少商人和渴望土地的貧民湧入。很快一座名為裡加的德意誌殖民地誕生了。
顯而易見，新修築的裡加城地勢險要，其北靠海洋，東枕群山，南坐沼澤，西依河流，如此險要之地自然成了天主教勢力征服波羅的海的大本營。
既然已經有了大本營，阿爾伯特自然要將武裝傳教提上日程，為此，他需要更多的軍隊，或者說是職業軍隊。於是，名為“利沃尼亞基督民兵”的組織出現了，這支隊伍在阿爾伯特的率領下頻頻征討周圍部落，吞並了很多土地，迫使不少人當地土著皈依天主教信仰。
大受鼓舞的教皇自然滿心歡喜，阿爾伯特主教的勝利足以證明在波羅的海武裝傳教的可行性，於是教皇大筆一揮，正式授予阿爾伯特組建的基督民兵“寶劍騎士團”的番號。
至此，波羅的海地區和條頓騎士團、米迦勒騎士團、烏列騎士團並稱為天主教四大騎士團的寶劍騎士團（後改名加百列）正式成立。
最初寶劍騎士團的全名為“寶劍利沃尼亞兄弟騎士團”。組織架構完從上至下共分為二個等級。
第一級：貴族騎士，由各德意誌貴族組成，每名騎士轄下數十名武裝侍從；
第二級：普通侍從，包括效忠騎士團的民兵，以及服侍貴族的見習騎士和扈從。
其中，作為騎士團之首的無疑是“寶劍騎士大團長”，擁有整個騎士團的最高權威，即是軍隊的總司令，又是最高行政長官。其次便是副團長、主帥、區隊長、騎士等下級騎士軍官。
但有一點值得注意，由於寶劍騎士團是主教阿爾伯特一手組建的，所以教皇同意阿爾伯特獨立指揮騎士團，也就是說，寶劍騎士團需要聽命於主教阿爾伯特，這與其他騎士團直接聽命教皇不同，所以其地位自然不如三大騎士團。