La villa fut ensuite mise à sac et pillée par des hordes successives d'envahisseurs barbares, et elle finit par tomber à l'abandon. Ainsi, dans les siècles qui suivirent, les constructeurs et les chaufourniers l'utilisèrent comme carrière.