Nakon Mohačke bitke, veliki dio Mađarskog kraljevstva je postao dijelom Osmanskog Carstva, pa tako i Budim. Tijekom turske okupacije dvorac je služio kao vojna baraka, oružarnica i štala, te je jako propao. God. 1686., dvorac je uništen, a ostale zgrade kompleksa su se urušile ili su izgorjele.Dvorac je kasnije obnovljen od 1850.-56., a 1867. godine odigrao je važnu ulogu pri krunidbi austrijskog cara, Franje Josipa I. Posljednjih desetljeća 19. stoljeća Mađarska autonomna vlada je otpočela obnovu dvorca koji je trebao postati kraljevskom rezidencijom po uzoru na druge europske velike dvorske komplekse.