Historia zamku sięga pierwszej połowy XIV w. Chronił on kopalnię złota w pobliżu miejscowości Stupná. Właścicielem warowni był Budivoj z Pecki. Zamek, strzeżony przez dwie wieże. otoczony był fosą, wyposażoną w most zwodzony. W końcu XV w. zamek został przebudowany w stylu gotyckim staraniem jego ówczesnych właścicieli, Hořických z Hořic. Generalna przebudowa, tym razem w stylu renesansowym, miała miejsce w drugiej ołowie XVI w. przez Škopka z Bílých Otradovic. Prace kontynuował na początku XVII w. kolejny właściciel Pecki Krzysztof Harant z Polžic i Bezdružic. Na miejscu dawnej siedziby stanęła rezydencja składająca się z czterech skrzydeł rozmieszczonych wokół prostokątnego dziedzińca, ozdobionych sgraffiti i herbami rodów Škopka i Haranta. Krzysztof należał do czołowych przedstawicieli czeskich panów, którzy przeciwstawili się rządom dynastii Habsburgów. Wojska ich zostały pobite w 1620 r. przez Ligę Katolicką w bitwie pod Białą Górą. Nastąpiła pacyfikacja Czech. 21 czerwca 1621 r. Krzysztof, wraz z 26 innymi czeskimi panami został publicznie ścięty na rynku staromiejskim w Pradze. Zamek Pecka, podobnie jak wiele innych cennych posiadłości, trafił w ręce Albrechta Wallenstejna, który rok później darował go zakonowi kartuzów z Valdic. Z czasem zamek podupadał. Dzieła zniszczenia dopełnił pożar, który strawił zamek w 1830 r. Do 1921 r. postępowała rozbiórka zamku. Wreszcie obiektem zajęła się wieś Pecka, przystępując do jego remontu.