古くは、吉野寺、比蘇（比曽）寺、現光寺、栗天奉寺とも呼ばれ、聖徳太子が建立した48か寺の一つと伝えられている。同寺に残っている瓦や伽藍配置などから、少なくとも飛鳥時代（7世紀後半）には存在していたようである。
平安時代には宇多上皇や藤原道長などが吉野への参詣の途中に訪れ、大いに栄えたが、その後は衰退した。
鎌倉時代に入り、1279年（弘安2年）に金峰山から春豪聖人が比蘇寺に移り、再興に努めた。
また西大寺を復興した叡尊の留錫により真言律宗となっている。
さらに1337年（南朝：延元2年、北朝：建武4年）には文観が先達となって後醍醐天皇が行幸し「栗天奉寺」と命名され、勅願寺となっている。
その後、再び衰退し荒廃するが、江戸時代に入って、伽藍を整備縮小し禅宗寺院として、霊鷲山・世尊寺と改め復興し、現在に至る。
比蘇寺には東塔と西塔があったが、そのうち東塔の三重塔は、1594年（文禄3年）豊臣秀吉によって伏見城に移され、さらに1601年（慶長6年）に徳川家康によって近江の園城寺（三井寺）に移建され、現在も残っている（三井寺・三重塔）。なお、西塔は戦乱により焼失している。
