Von Hoffenheim wechselt der Mittelfeldspieler zur Saison 2012/13 zu RBL in die Regionalliga Nordost. Mit dem Verein steigt er am Ende der Saison in die 3. Liga auf. In der Saison 2013/14 trägt der mittlerweile als Stammspieler agierende Kaiser mit 13 Toren erneut zum Aufstieg, diesmal in die 2. Bundesliga, bei.
Im selben Jahr wird er Drittligaspieler des Jahres und erstmals Mannschaftskapitän der Sachsen. 2016 folgt der ersehnte Aufstieg in die Bundesliga. Im ersten Spiel gelingt Kaiser nicht nur der Ausgleich gegen Hoffenheim, sondern er schießt auch das erste Bundesligator überhaupt für die Bullen.
In der Bundesliga kommt er bis zum Jahr 2018 zu 35 Einsätzen, dann trennen sich die Wege, denn bei RB trauen sie bekanntlich keinem über 30.
