Król oddawał się z upodobaniem również innej namiętności, która przyniosła mu chyba największą sławę. Była to budowa zamków.
W 1868 roku napisał do Wagnera: „Zamierzam odbudować z ruin stary zamek Vorderhohenschwan- gau, w stylu prawdziwych staroniemieckich zamków rycerskich. Muszę Ci powiedzieć, że myśl o zamieszkaniu w tym zamku bardzo mnie podnieca”. Ludwik dodał jeszcze, że zamek będzie miał coś z ducha Tannentiausera i Lohengrina. I tak się właśnie zaczęło. Ten bajkowy zamek to Neuschwanstein usadowiony na szczycie góry. Potem przyszła kolej na barokowy przepych Linderhofu i bogactwo Herrenchiemsee, repliki Wersalu.
Po ich wzniesieniu król skrył się w świecie marzeń, przestały go interesować sprawy państwa. W zimowe noce Ludwik nie jeździł już wokół ujeżdżalni, lecz po górach, w złoconych rokokowych saniach, w towarzystwie stangretów i forysiów, którzy musieli ubierać się w stroje z epoki Ludwika XIV. Brak zainteresowania dla spraw państwa i niewiarygodna wręcz ekstrawagancja nie mogły ciągnąć się w nieskończoność. W czerwcu 1886 roku wuj i następca Ludwika II, książę Luitpold, doprowadził do uznania króla za niepoczytalnego umysłowo i sam przejął rządy jako regent. Ludwik zakończył życie w sposób tajemniczy i tragiczny zarazem. 12 czerwca zesłano go do Schloss Berg koło Monachium. Następnego dnia udał się na przechadzkę ze swoim osobistym lekarzem, doktorem Bernhardem von Gudden. Kiedy długo nie wracali, wyruszono na poszukiwania. Około osiemnastu metrów od brzegu, w płytkiej wodzie, odnaleziono ciała obu mężczyzn.