Крепость на горе Шлоссберг появилась в XII веке. Первой постройкой будущей крепости была башня Бергфрид, представляющая собой высокое здание небольшой площади, с маленькими окнами. В таком строении находилось все, что было нужно для жизни. Вокруг башни возводились остальные сооружения, первым из которых стала башня с часами. Она - единственное, что сохранилось от крепости до наших дней. Крепость расширялась, достраивалась. Во многом этому способствовала постоянная угроза турецкого нападения. Турки обступали Шлоссберг в 1480 году, в 1531 году они уничтожили часть горы. В 1543 году архитектор Доменико Дель`Алио принялся за масштабную реконструкцию крепости. Это было сложно, так как крепость находилась на отвесной горе. Архитектору пришлось соорудить некое подобие грузового лифта, сейчас на этом месте находится линия фуникулера. В ходе реконструкции старые здания были разрушены, а новые постройки удалось сдать только в начале XVII века из-за угрозы нападения турков и недостаточного финансирования.В 1809 году французская армия вступила в Грац и принялась за уничтожение горной крепости. Однако на совместные пожертвования горожан удалось выкупить башню с часами, и французы ее не тронули. В середине XIX века на горе был построен ресторан, функционирующий до сих пор. В 1999 году гора Шлоссберг вошла в список Всемирного наследия ЮНЕСКО.