Cuenta la leyenda que, en la antigüedad, Castrobol fue tan importante que tenía nada menos que tres castillos, de los cuales no se conserva ningún resto en pie. No en vano, el origen feudal de sus tierras se puede observar en la misma raíz de su nombre, castro. En aquellos años del medievo, el asentamiento surgido en torno al señor del castillo, recibía el nombre de Castrovan.