Dalla via circolare superiore si diparte un clivo che porta alla cima di un colle, dove nel 1630 venne costruita una fortificazione dalla pianta quadrilaterale con sporgenti bastioni a punta collocati agli angoli. E’ stata costruita in base ai disegni dell’ architetto militare francese Antoine De Ville su commissione del governo veneziano . lo scopo era quello di difendere la citta’ e il del porto considerata la sua grande importanza per i traffici marini nell’ alto Adriatico. Sulla cima del colle anche prima ci doveva essere una fortificazione rimasta attiva nel tempo ,dal periodo preromano in poi. I castellieri istriani erano costruzioni per lo piu’ con compiti di difesa e si calcola che anche al tempo dei romani sul posto c’ era una piccola stazione militare.Nel Castello oggi ha sede il Museo storico dell’ Istria.