Le Kinkaku-ji, également désigné sous le nom de Rokuon-ji, était originellement la villa de retraite du shōgun Ashikaga Yoshimitsu. Après sa mort en 1408, selon son testament, elle fut convertie en temple zen appartenant à la secte Rinzai. Construit pour incarner la culture Kitayama, qui fleurissait parmi les aristocrates de Kyoto sous Yoshimitsu, le pavillon reflète une époque de prospérité et de raffinement.
Malgré sa beauté et sa splendeur, le Pavillon d'Or a connu plusieurs vicissitudes. Il fut détruit par le feu à plusieurs reprises, notamment durant la guerre d'Onin, un conflit civil qui a ravagé Kyoto, et plus récemment en 1950, lorsqu'un moine fanatique y mit le feu. La structure actuelle, reconstruite en 1955, est le fruit d'efforts minutieux visant à restaurer l'éclat du pavillon original.