Z zgornje krožne ulice se povzpnete na vrh griča, kjer je bila leta 1630 zgrajena trdnjava s štirioglatim tlorisom s poudarjenimi vogalnimi koničastimi bastioni. Zgrajen je po načrtih francoskega vojnega arhitekta Antoina de Villea po naročilu benečanske vlade v namen obrambe mesta in pristanišča, saj je Pulj imel velik pomen v pomorskem prometu na severnem Jadranu. Najbrž je na vrhu griča že prej obstajala trdnjava, verjetno še iz predrimskega in rimskega obdobja. Histrske grajske razvaline so na prvem mestu imele obrambno funkcijo, z obzirom na to, da je bila tudi v rimski dobi tukaj nameščena manjša vojaška enota. Danes se v Kaštelu nahaja Zgodovinski muzej Istre.