A testimonianza di questa signoria rimangono lo splendido Oratorio Visconteo, affrescato con scene della vita di San Ludovico di Tolosa e di San Giovanni Battista alla fine del XIV secolo, e il Castello, affacciato sul ciglione prospiciente la vallata dell'Arno in posizione strategica a controllo della vallata e in collegamento con le altre opere difensive viscontee della zona.

Agli inizi del Seicento esso fu trasformato in residenza di villeggiatura per poi divenire, a metą del XIX° secolo, centro di attivitą produttive legate all'allevamento del baco da seta e all'attivitą di una filanda.
Rimarrą contemporaneamente centro produttivo e residenziale fino agli anni '40 del Novecento.

La sua importanza all'interno del suo paese č confermata dall'espandersi del centro storico albizzatese con andamento radiale, mantenendo sempre al centro il castello, che viene continuamente ampliato e adeguato negli anni alle nuove esigenze.