Il castello di Carovigno sorge in posizione eccentrica, sul punto più alto del paese e, per questo, strategicamente più adatto alla difesa. Si presenta a pianta triangolare, con una torre quadrata sul vertice orientale, una circolare sul vertice occidentale e una “a mandorla” sul vertice settentrionale.
Dall’alto delle torri si domina tutta la fascia costiera che si estende da Torre Canne sino a Brindisi.