Povijest pak kaže da po izumrću grofova Celjskih, Veliki Tabor s drugim zagorskim posjedima dobiva kralj Matija Korvin, a potom njegov nezakoniti sin Ivaniš Korvin. Veliki Tabor prvi se puta spominje u darovnici Ivaniša Korvina 1502. godine. Tim darovnim ugovorom Korvin poklanja utvrdu grofu Pavlu Ratkaju zbog njegovih brojnih uspjeha protiv Osmanlija. Dvor je imao značajnu ulogu kao dio obrambenog sustava na Ivanščici koji su činili drugi utvrđeni gradovi među kojima su bili Cesargrad, Kostelgrad, Mali Tabor, Oštrc, Pusta Bela, Milengrad, Grebengrad.
Narednih stoljeća velikotaborsko vlastelinstvo prerasta u jedan od najvećih zagorskih posjeda s utjecajnim gospodarima Ratkajevima u čijem su vlasništvu bili Miljana, Velika Horvatska i Mali Tabor. Ratkajevi su pretvorili Veliki Tabor u svoje najpoznatije sjedište te su njime najdulje vladali, do 1793. godine. Daleko najpoznatiji član obitelji bio je barun Juraj Ratkaj Velikotaborski, kanonik i povjesničar, koji je sažeo hrvatsku povijest svojim popisom hrvatskih kraljeva i banova. Međutim, iako je napisano u duhu protureformacije, zagrebački svećenici, koji su se protivili Ratkaju, osuđuju njegovo djelo. Žestoke ćudi i ponekad neprimjerenog ponašanja Juraj Ratkaj je naposljetku izgubio i čast kanonika.
Ratkajevi su Veliki Tabor prilagodili svojim potrebama. Središnji dio dvora, palas, peterokutna je građevina, koja ima karakteristike kasne gotike. Palas je korišten ponajprije za stanovanje iako ima određene obrambene detalje. Na palasu je otvorena bifora, prozor podijeljen u dva dijela sa završetkom u obliku lukova. Palas okružuju četiri kule polukružnog oblika i renesansnog stila, ziđe ulaznog dijela i razne prostorije koje su naknadno izgrađene te time oblikovale unutarnje dvorište. S dvorišta su vidljivi arkadni trijemovi koji povezuju kule. Najveća kula, smještena na istočnoj strani, služila je za obranu. Na njoj su uočljivi otvori za topove. U najmanjoj južnoj kuli nalazi se kapela svetoga Ivana iznad koje se uzdiže drveni toranj sa satom. Budući da je tijekom 18. stoljeća prestala ratna opasnost, u kulama se počinje stanovati. Vanjska obrana sastojala se od zidina, obrambene kule, odnosno bastiona, gospodarskih i stambenih građevina u kojima je vjerojatno boravila posluga, stražarnice i ulazne kule. Bastion je kasnije korišten za vinogradarske poslove. U njemu se prerađivalo grožđe za vino. Okolni pašnjaci, vinogradi, voćnjaci i mlin bili su dio velikog gospodarstva.