Jede Burg, die etwas auf sich hält, hat ihren Geist, so auch die Burg von Baldu. Die Legende besagt, dass der Geist von Ubaldo II Visconti, einer bedeutenden historischen Figur, die während des Königreichs Gallura lebte, in den Mauern und Räumen umherwandert. Er hatte von 1225 bis zu seinem Tod das Amt des Richters von Gallura inne und wurde der Überlieferung nach in der Basilika Nostra Signora di Luogosanto beigesetzt. Es heißt jedoch, dass sein Geist weiterhin in der Nähe des Schlosses umherstreift. Der Legende nach erschien Ubaldo in der Nähe der kleinen Kirche Santo Stefano in den für das 14. Jahrhundert typischen Gewändern eines pisanischen Herrschers und zeigte sich nur den wirklich Gläubigen und Würdigen.