Am 14. April 1816 verzichtete Bayern endgültig auf alle Salzburger Gebietsansprüche und acht Tage später ordnete Kaiser Franz I. die Vereinigung der noch zu Salzburg/Bayern gehörenden Gebiete mit Tirol an. Aus diesem Anlass und weil Kaiser Franz I. am 5. Juni 1816 ins Zillertal zur Feier dieser geschichtlichen Ereignisse reiste, wurde die Kaisersäule im Hof des Schlosses Fügen errichtet.
In den Wirren der Nachkriegszeit (1945) wurde die Kaisersäule von einem Panzer der amerikanischen Besatzungstruppen zerstört.
