Pałac w Izbicku to budowla, która od wieków wpisana jest w krajobraz wioski. Ustalenie dokładnej daty jego budowy nie jest jednak możliwe. Pierwszy budynek, który swoim kształtem przypominał siedzibę hrabiowskiego rodu, powstał w XVI w.
Najstarsze wzmianki o zamku datowane są na XVI wiek, jednak dopiero w połowie XVIII wieku pojawił się pierwszy szkic, który unaocznia wygląd pałacu. Trzypiętrowy fronton posiadał wtedy dwie narożne zwieńczone blankami wieże. Pałac otoczony był pięknym, ogrodem francuskim, a podjazd prowadził między dwoma stawami. Za rezydencją rozpościerał się ogromny ogród rezydencyjny bujnie porośnięty kwiatami.
Pałac na przestrzeni lat był wielokrotnie przebudowywany. Kilka razy strawił go pożar. W jednym z większych, który wybuchł w 1812 r., życie straciły 3 osoby. Zapis dotyczący tego wydarzenia do dziś widnieje w księgach parafialnych. Spłonęła wtedy córka nadzorcy "Wielkiego Pieca" oraz dwoje małych dzieci nadleśniczego. To prawdopodobnie one wznieciły ogień. Po pożarze hrabia zadecydował o odbudowie pałacu, tym razem w stylu normandzkim.