天長9年（832年）智証大師・円珍により医王山延寿院金剛寺（いおうざん えんじゅいん こんごうじ）として創建された。
天正年間（1573年 - 1592年）、長宗我部氏による兵火で全焼するが、寛永8年（1631年）に讃岐高松藩4代藩主・生駒高俊が外祖父・藤堂高虎の菩提を弔うため再興した。高俊は客殿に束帯姿の高虎影像を安置し、寺領四十石を寄進した。また、高虎の諡号から「閑松院」、かつて高虎が高俊の父・生駒正俊のために援軍を出して勝利を得たことから「克軍寺」の名をもって、医王山閑松院克軍寺（いおうざん かんしょういん こくぐんじ）と改称させた。
慶安4年（1651年）、高松藩主・松平頼重が本堂などを再建し、寺領百石を寄進したうえで将軍家歴代の尊牌を納めた。このとき、山号を巌松山と改め、蓮門院（れんもんいん）とも呼ばれるようになったという。
元禄12年（1699年）には、下野国輪王寺の末寺として、本門寿院の院室を賜って院室兼帯寺院（真言宗において門跡寺院の院室寺院の寺号を名目的に与えられた寺院）となる。寛永21年（1644年）には境内の山手に徳川家康を祀る山王社を建立したが、文化12年（1815年）に8代藩主・松平頼儀が屋島神社に移した。
明治時代には境内裏山に新四国庵が創設され、大正時代にかけてミニ四国八十八箇所を開創・整備した。しかし、昭和20年（1945年）の高松空襲によって本堂などとともに全焼した。
昭和31年（1956年）、本堂が再建された。
