E infatti, le strutture esterne dell’abbazia costruita in seguito, funsero da alloggi per pellegrini o mercanti che proseguivano per le vie transalpine. La foresteria ha poi subito un cambio di destinazione d’uso, attualmente legata a quella agricola. Vista l’interessante segnalazione dei tre canonici, il loro Priore avendo pieno possesso proprio di quel territorio, non esitò a fondarvi una signoria monastica. Tenendo conto poi, che si era in pieno periodo feudale, l’architettura del monastero divenne una sorta di fortezza, elemento che si legge dalla presenza di una doppia cerchia di mura e alcune torri ora purtroppo non più esistenti.

Cuore della badia è il suo chiostro centrale a pianta pentagonale assai inusuale per l’epoca romanica. In tutto ciò l’origine di San Gemolo si deve ad un giovane soldato che, decapitato ne 1047, secondo la leggenda, riuscì a recarsi con la propria testa in mano nel luogo in cui ora sorge la badia, per esservi sepolto. Come spesso accadde alle varie strutture monastiche, anche quella di S. Gemolo iniziò a declinare nel ‘400. Subì nel 1511 un incendio e il saccheggio da parte delle truppe svizzere.

Il restauro e la ristrutturazione successiva, videro anche la realizzazione di una facciata barocca, ma l’abbazia fu venduta a privati nel 1894 dopo che gradualmente la comunità monastica che vi risiedeva si estinse. Dal 1962 si può trovare presso il chiostro, il Museo della Badia che ospita testimonianze artistiche, epigrafiche e archeologiche di vari periodi, appartenenti alla Valganna.