La construction du château fut probablement commencée sous l'épiscopat de Boniface (1231 - 1239). Les châtelains y rendirent justice au nom de l'évêque. Après l'annexion de Bulle par la ville de Fribourg, le château devint, dès 1537, résidence des baillis. Depuis 1848, il est le siège de la Préfecture de la Gruyère.
Le château a conservé jusqu'à nos jours sa silhouette de forteresse médiévale, tandis que l'intérieur a été transformé à diverses époques. Formant un quadrilatère de 41 x 44 mètres, il comprend des corps de logis sur trois côtés et une haute courtine sur le quatrième.
Le donjon, séparé par une petite cour, est haut de 33 mètres et épais de 2,16 mètres à sa base. Son entrée d'origine est située à 9,7 mètres du sol. Sur le fossé, le pont de pierre a remplacé le pont-levis en bois. Le château a échappé à l'incendie qui détruisit la ville en 1805.
Pour visiter le Musée gruérien et sa bibliothèque, suivre le chemin qui traverse les fossés.