Nel periodo della dominazione austriaca fu drasticamente ristrutturato e trasformato in carcere. Destinazione che conserva ancora oggi.

A completamento del sistema difensivo, nella seconda metà del 1200, i sovrani di Carinzia fecero sorgere il Castello (che si affaccia sulla vicina piazza della Motta) contro i possibili attacchi provenienti dal Patriarcato di Aquileia, che aveva distrutto il fiorente porto fluviale della città e i magazzini annessi; posto nella parte est del centro storico, il castello si ergeva su una collina sopraelevata sulla sottostante bassura, percorsa da rogge e dal fiume, ed era quasi inespugnabile.

Il castello ospitò prima i capitani asburgici e poi quelli veneziani e, nella successiva dominazione austriaca, venne trasformato in carcere, conservando questa destinazione ancor oggi.