La leggenda racconta che il castello fu costruito verso il 540 d. C. dal goto Genserico, sulle macerie di altro maniero prima esistente: Genserico era un misterioso personaggio e uomo di fiducia di Amalasunta, regina degli Ostrogoti e dopo la tragica morte della sovrana, uccisa in un'isola del lago di Bolsena per mano di sicari inviati dallo sposo Teodato, Genserico fuggì verso il nord con Eudosia, damigella di corte; che sposò e con la quale si stabilì nel territorio di Mel. Qui ricostruì un «castello», ottenendo dal nuovo sovrano degli Ostrogoti, Vitige, il titolo di comes «conte» e la piena giurisdizione sul territorio: «da mattina l'acqua dell'Ardo, a mezzodì cime di monti, a sera un'acqua detta Rivo Bianco,5 a settentrione il fiume Anaxo, ora detto Piave ».

Lo stemma di famiglia fu rappresentato secondo il Bonifacio da una sfera d'oro in campo turchino, sormontata da due gemelli abbracciati, a ricordo della felicità che allietò la nuova dimora di Genserico, con la nascita di due gemelli, Iusprando e Goffredo. Il castello di Zumelle trae nome da questa leggenda: 'castrum zumellarum' - castello dei gemelli.