Ogni castello che si rispetti ha il suo fantasma, e il Castello di Baldu non fa eccezione. La leggenda narra che attorno alle sue mura e fra i suoi ambienti si aggira il fantasma di Ubaldo II Visconti, personaggio storico di rilievo vissuto durante il Regno di Gallura. Rivestì la carica di giudice di Gallura dal 1225 fino alla sua morte e venne tumulato, come da tradizione, nella Basilica di Nostra Signora di Luogosanto. Si dice però che il suo fantasma continui ad aggirarsi in prossimità del castello. Secondo la leggenda, Ubaldo apparirebbe vicino alla chiesetta di Santo Stefano con abiti signorili pisani tipici del Trecento e che si mostri solo alle persone davvero credenti e meritevoli.