Uno de los edificios más antiguos de La Fatarella fue una torre de vigilancia musulmana en el lugar donde hoy se encuentra la capilla de la Mare de Déu de la Misericòrdia . El nombre de la población se deriva del nombre árabe de "torre", aunque existen otras teorías etimológicas. No son restos visibles de la torre. Desde el punto donde se encontraba hay una vista imponente de la Terra Alta y una magnífica vista panorámica.
La Fatarella tiene calles irregulares y sinuosas que presentan un elemento arquitectónico conocido localmente como perxes , que son tramos de una calle cubiertos por envigats , o arcos de piedra, que unen varias casas. El origen de la actual villa de Fatarella es medieval , como muestran las fachadas de muchas casas, teniendo pórticos de piedra con umbrales tallados con diferentes símbolos e inscripciones.
Durante la Edad Media la ciudad fue amurallada para ofrecer protección a sus habitantes, principalmente de bandidos y lobos. Las paredes miden entre 80 y 120 centímetros (31 a 47 pulgadas) de ancho. Este sistema defensivo continuó hasta bien entrado el siglo XVII, cuando el auge de la población obligó a la ciudad a expandirse más allá de las murallas. En la actualidad aún se pueden ver vestigios de estos muros, de los que se desprenden puertas de acceso al recinto.
La Fatarella, especialmente la vecina Sierra de la Fatarella , fue una de las principales localizaciones de la Batalla del Ebro en la Guerra Civil Española . En 2010 se erigió un monumento para conmemorar a las víctimas.