Kuil menurut sejarah ditemukan oleh Bhiksu Nichizo ( 1269-1342), salah satu dari Sembilan MuridUtama dari Bhiksu Nichiro ( 1243-1320), satu dari Enam Murid Utama Nichiren( 1222-1282), pendiri sekte Nichiren. Ia lahir di daerah Ibaraki, ia menjadi seorang bhiksu dari sekte Nichiren ketika sejak berumur 7 tahun. Ia sangat beruntung dapat bertemu langsung dengan Nichiren. Nichiren kemudian memberikan perintah agar ia kelak dapat menyebarkan ajaran Nichiren didaerah Kyoto setelah kematiannya.

Kuil ini pada mulanya bernama Baireiji dari Sekte Shingon, tetapi terbengkalai. Melihat hal itu, Nichizo memberikan dukungan kepada kuil dan membangunnya kembali menjadi kuil sekte Nichiren.

Bhiksu Nichizo dikenal sebagai penyebar ajaran sekte Nichiren Buddhisme di daerah Kyoto, ibukota lama Jepang, dimana sekte Tendai adalah sekte yang dominan didaerah tersebut pada waktu itu. Sekte Tendai terus berusaha dengan segala upaya agar para pengikut Nichiren tidak masuk ke kota Kyoto. Ketika Bhiksu Nichizo sedang melakukan tugas penyebaran di daerah tersebut, pemerintah setempat selalu mencari alasan demi alasan untuk mengusir beliau dari kota tersebut. Meskipun mendapat berbagai penganiayaan, Ia berhasil mendirikan kuil sekte Nichiren di Kyoto pada tahun 1321 dan diberi nama Kuil Myoken-ji. Sebaliknya keberhasilan itu telah mendapatkan kepercayaan dari kerajaan. Melalui upacara doa, beliau berusaha membantu Kaisar Godaigo ( 1288-1339), yang sedang menjalani pembuangan disebuah pulau kecil dari daerah Shimane agar dapat kembali ke Kyoto. Kuil Myoken-ji menjadi pusat untuk penyebaran ajaran sekte Nichiren didaerah barat Jepang.

Semasa periode antara tahun 1624 sampai 1643, Kuil ini telah dibangun kembali dan diberi nama Kuil Bairyu-ji. Meskipun sama-sama merupakan sekte Nichiren, sekte Nichiren mempunyai banyak sub sekte dan kuil ini terlihat paling jelas perbedaannya bagi kebanyakan orang. Sub sekte ini kemudian disebut Fuju Fuse, yang berarti “Tidak Menerima dan Tidak Memberi.” Dengan kata lain bahwa para pengikut sekte Nichiren hendaknya tidak menerima persembahan dari sekte lain, maupun memberikan persembahan atau melayani ibadah kepada sekte lain.

Ini adalah sebuah pandangan yang pada mulanya menjadi pegangan bagi para pengikut sekte Nichiren, tetapi sejalan dengan waktu, banyak para pengikut Nichiren yang kemudian lebih lunak dan mengikuti situasi masyarakat, dan mereka ikut ambil bagian dalam memberikan perlayanan bagi bukan pengikut atau jika mendapatkan perintah dari Shogun atau pemerintah setempat. Meskipun demikian, banyak juga yang tetap mempertahankan doktrin Fuju Fuse ini. Ketika Hideyoshi Toyotomi ( 1536-1598), seorang pahlawan dalam sejarah Jepang yang telah mempersatukan seluruh Jepang (1585), mengundang seribu bhiksu dari delapan sekte agama Buddha termasuk sekte Nichiren pada tahun 1595 untuk mengadakan doa bagi para arwah leluhurnya di Kuil Hokoji, sebuah Kuil Tendai yang terkenal di Kyoto. Bhiksu Nichi-o ( 1565-1630) dari sekte Nichiren, ketua Kuil Myokakuji di Kyoto dan seorang penganut doktrin Fuju Fuse, menolak undangan tersebut dan tidak menghadiri acara tersebut. Sekali lagi pada tahun 1599, Ieyasu Tokugawa ( 1542-1616), seorang pahlawan lain dalam sejarah Jepang dan pendiri dari KeShogunan Tokugawa, mengadakan upacara serupa, Bhiksu Nichi-o juga tidak menerima dan menghadiri acara tersebut. Sebagai akibatnya, Ia kemudian dikucilkan dan dibuang ke Pulau Tsushima, 150 kilometer barat laut dari kota Fukuoka, disana ia dipenjara selama 13 tahun lamanya. Kemudian Ia diberikan pengampunan dan kembali Kuil Myokakuji pada tahun 1612, tetapi ia tidak berubah sikap sama sekali, dan tetap menolak menghadiri undangan dari pemerintah dalam acara yang sama. Pada tahun 1630 setelah kematiannya, pemerintah setempat membongkar kuburannya dan mengirimkan jenazahnya ke Pulau Tsushima, sebagai hukuman. Pada saat yang sama, pemerintah melarang penerapan doktrin Fuju Fuse. Penyiksanan dan penganiayaan terhadap mereka pun terus berlanjut. Para pengikut doktrin Fuju Fuse pun akhirnya bergerak dibawah tanah. Sepanjang periode Edo (1603-1868), terdapat dua kelompok keagamaan yang dilarang oleh pemerintah yaitu kelompok Fuju Fuse dan para pengikut ajaran kristen.

Kuil ini pun akhirnya akan dihancurkan karena secara resmi mengunakan nama Kuil Fuju Fuse. Akhirnya untuk menyelamatkan kuil ini maka nama kuil akhirnya diganti menjadi Yokuo-ji sampai sekarang. Larangan terhadap ajaran Kristen dan Fuju Fuse akhirnya dihapus pada tahun 1873, pada waktu terjadi restorasi Meiji pada tahun 1868, namun semua komunitas Buddhis harus mengalami sebuah bencana besar karena pemerintah yang baru menunjuk Shinto sebagai agama resmi pemerintah, dan merencanakan kebijakan untuk menghancurkan ajaran Buddha. Baru setelah perang Dunia Kedua selesai, semua orang kembali dapat menikmati kebebasan beragama dengan dibuatkannya undang-undang yang baru pada tanggal 3 Mei 1947, yang menjamin kebebasan untuk semua agama.

Arti kata dari Yakuo-ji berarti Bodhisattva Bhaisajyaraja (skt), salah satu dari 15 orang Bodhisattva yang melayani Buddha Sakyamuni didalam pembabaran Saddharma Pundarika Sutra.

Aula Utama dan Rupang

Pada umumnya pintu terbagi menjadi dua dan terbuka, sehingga kita dapat melihat melalui jendela kaca kedalam ruangan. Aula ini dilengkapi oleh berbagai macam kelengkapan buddhis dan dijaga kebersihannya. Pada bagian tengah altar bersemayam rupang berwarna Nichiren dan dikelilingi oleh rupang Buddha lainnya. Pada papan informasi kuil dikatakan bahwa terdapat sebuah Enbu-Dagon ( Jambunada-suvarna, skt.) rupang Nyorai (Tathagata, skt.). Enbu-Dagon (Dangon) jika diterjemahkan berarti debu emas dari pasir sungai didalam hutan India yang ditutupi oleh pohon-pohon khayalan. Informasi dipapan itu tidak menjelaskan tentang siapakah Nyorai tersebut. Namun literatur mengatakan bahwa objek utama dari kuil adalah Yakushi Nyorai, atau Buddha Bhaisajyaguru (skt), dan karena itu Nyorai itu bisa jadi adalah rupang emas dari Yakushi Nyorai. Pendapat lain mengatakan bahwa, rupang Enbu Dagon Nyorai adalah Shaka.

Monumen untuk Tadanaga Tokugawa

Ketika kita telah melewati pintu gerbang kuil, maka disebelah kanan, kita akan dapat melihat sebuah monumen batu yang merupakan tanda peringatan bagi Tadanaga Tokugawa ( 1606-1633), putra ketiga dari Shogun Tokugawa Hidetada ( 1578-1632). Tadanaga mempunyai seorang kakak laki-laki; bernama Iemitsu ( 1604-1651). Sedangkan yang paling tua telah meninggal pada usia muda.
Kedua bersaudara itu saling berlomba untuk mendapatkan kedudukan ayahnya. Tetapi orangtua mereka lebih menyayangi Tadanaga daripada Iemitsu, sedangkan kakek mereka Ieyasu lebih menyukai Iemitsu. Pada akhirnya, Iemitsu berhasil mengantikan tatha ayahnya dan menjadi Shogun Tokugawa yang ketiga pada tahun 1623. Tadanaga diberikan wilayah kekuasaan yang mencakupi daerah Shizuoka (saat sekarang) dan daerah Yamanashi. Ia sangat tidak bahagia dengan keadaannya itu, dan menjadi putus asa. Ia menjadi seorang yang egois, akibatnya Shogun atau saudaranya terpaksa menyita wilayah kekuasaannya pada tahun 1632 dan menempatkan ia disebuah daerah perbatasan. Didalam keputusasaannya, akhirnya ia bunuh diri setahun kemudian.

Isteri Tadanaga, adalah cucu perempuan dari seorang yang terkenal yakni Oda ( 1534-1582) yang telah mempersatukan Jepang meskipun dalam hanya waktu yang singkat antara periode Toyotomi dan Tokugawa, mempunyai banyak hubungan dengan para pemimpin kuil, dan dia meminta untuk dibuatkan sebuah monumen untuk menghibur jiwa suaminya yang tidak beruntung.