Todo castillo que se precie tiene su fantasma, y el castillo de Baldu no es una excepción. Cuenta la leyenda que el fantasma de Ubaldo II Visconti, importante personaje histórico que vivió durante el Reino de Gallura, deambula entre sus muros y estancias. Ocupó el cargo de juez de Gallura desde 1225 hasta su muerte y fue enterrado, según la tradición, en la basílica de Nostra Signora di Luogosanto. Sin embargo, se dice que su fantasma sigue vagando por los alrededores del castillo. Según la leyenda, Ubaldo se aparecía cerca de la pequeña iglesia de Santo Stefano vestido con ropajes señoriales pisanos típicos del siglo XIV y sólo se mostraba a los verdaderamente creyentes y dignos.