Tout château qui se respecte a son fantôme, et le château de Baldu ne fait pas exception à la règle. La légende raconte que le fantôme d’Ubaldo II Visconti, un personnage historique important qui a vécu pendant le Royaume de Gallura, erre dans ses murs et dans ses pièces. Il exerça la fonction de juge de Gallura de 1225 à sa mort et fut enterré, selon la tradition, dans la basilique de Nostra Signora di Luogosanto. Cependant, on dit que son fantôme continue d’errer dans les environs du château. Selon la légende, Ubaldo apparaîtrait près de la petite église de Santo Stefano, vêtu de l’habit seigneurial pisan typique du XIVe siècle, et ne se montrerait qu’aux personnes croyantes et dignes.