À l'origine, le site de Ryoan-ji était une villa aristocratique pendant la période Heian. En 1450, il fut transformé en temple zen et appartient depuis à l'école Myoshinji de la secte Rinzai du bouddhisme zen. Le temple principal de cette école se trouve à un kilomètre plus au sud.