Les muralles de Castellfollit protegien el castell, situat al capdamunt de la cinglera de roca basàltica, dels atacs dels enemics durant l'Edat Mitjana.Actualment hi ha poques restes d'aquestes muralles, però se sap que al camí de la Rossolada, hi havia una de les portes fortificades. Igualment, al carrer de la Font número 1 encara hi podem veure una de les torres de la fortalesa i, al número 3 del mateix carrer, es conserven algunes espitlleres, o petites obertures. D'altra banda, cal destacar que a la plaça del cingle hi ha una casa que, amb el nom de Can Castell, està construïda amb alguns murs, els que es repengen al cingle, que eren part de la muralla. El castell se cita per primera vegada el 26 d'octubre de 1193, quan Ponç de Cervera, la seva esposa Marquesa i el seu fill Pere, lloctinents del vescomtat de Bas, van cedir de forma perpètua la batllia del castell i la vila a Ramon de Colltort. Al voltant del castell s'hi van establir famílies pageses, formant el primer poble, que després va quedar emmurallat. Durant el segle XV, amb els grans terratrèmols, les muralles van quedar molt malmeses i moltes cases es van enfonsar. Al segle XVII, en la guerra de la Lliga d'Augsburg, els francesos assetjaren el castell i, segons sembla, van acabar demolint-lo. També fou un lloc estratègic durant la guerra del francès. Totes aquestes batalles van fer que l'any 1875 la fortificació estigués tan degradada que, amb motiu de les guerres carlines, es va haver de refer.