L'origen de Cabassers encara presenta dubtes i es fa difícil de discernir clarament. Tot i que els primers documents sobre la població conservats daten de mitjan segle XII, hi ha diversos indicis que fan creure que l'establiment permanent de nuclis humans organitzats en aquesta zona començà de ben antic, durant l'època prerromana. El 1995, unes màquines excavadores posaren al descobert molt a prop de la població una punta de sageta de bronze del tipus "Mailhacianes", que segons el Museu d'Arqueologia de Catalunya es pot datar entre el Bronze Final avançat i la Primera Edat del Ferro. Tanmateix, encara farien falta més troballes per poder aproximar-nos al Cabassers protohistòric que, com la que ens ocupa, podrien aparèixer casualment.
De totes formes, la carta de població de Cabassers, concedida el 9 de maig de 1185 pel bisbe tortosí Ponç de Mulnells, no al·ludeix a una delimitació topogràfica del lloc, la qual es dóna ja per coneguda. Això, amb la grafia que s'utilitzava a l'època per designar la població -Avincabacer-, ens donen a entendre que ja existia abans de la Reconquesta, i aquell prefix àrab, Avin-, sembla deixar-ho prou clar. A més, uns estudis recents han posat al descobert que la vila hagués pogut ser l'emplaçament del monestir de Bíclarum, un antic cenobi visigot fundat el 586 pel prevere lusità Joan de Bíclarum. Així doncs, encara que de moment no poguem precisar el seu origen, sembla prou clar que Cabassers i el seu terme han estat habitats des de, com a mínim, la Romanització, i ha sofert el pas dels visigots (el monestir de Bíclarum) i dels àrabs (el prefixe Avin-) i dels croats catalans que reconqueriren la Catalunya Sud (la documentació generada a partir del segle XII).
És a partir d'aquest darrer període quan tenim més informació sobre el poble, gràcies al fet que encara se'n conserven documents. Degut a això, sabem que el comte-rei Ramon Berenguer IV donà Cabassers el 25 d'abril de 1149 a l'ordre premonstratesa perquè hi fundés un monestir anomenat Santa Maria de Vallclara, en agraïment pel seu ajut en la reconquesta del territori. Tanmateix, nou anys després d'aquesta fundació els seus monjos l'abandonaren i en feren donació al bisbe de Tortosa, el 27 de desembre de 1158, i el propi Ramon Berenguer IV acceptà aquest abandó el 2 de gener de 1159. Des d'aleshores, Cabassers sempre ha estat sota la jurisdicció eclesiàsitica de la diòcesi de Tortosa.
El bisbe de Tortosa va anar ampliant al llarg del segle XII els seus dominis cabasserols amb termes i llocs circumdants, que obtingué d'altres donacions, fins que a primers del segel XIII va aconseguir la jurisdicció de Margalef. A partir d'aquí ja podem parlar de Baronia de Cabassers, integrada per la Bisbal de Falset, Cabassers, la Figuera, el Lloar, Margalef i la Vilella Baixa, i el 2 d'abril de 1303 el rei Jaume II va signar una Acta per la qual confirmava el títol de baró de Cabassers per al bisbe de Tortosa i els seus drets sobre el territori. La Baronia disposava d'un codi legislatiu que ordenava el règim jurídic del lloc: les Usances i Costums de la Baronia, aprovades el 21 de desembre del 1310 pel bisbe Pere de Betteto. També gaudia d'un sistema judicial integrat pel batlle general de la baronia com a jutge ordinari auxiliat pels prohoms, jurats, escrivà i nunci (algutzir), que s'encarregava de jutjar els delictes de caire civil (mixt imperi). Els de caràcter criminal (mer imperi), que podien comportar penes de mutilació de membre o pena de mort, corresponia de jutjar-los als oficials del Comtat de Prades conjuntament amb els de la Baronia de Cabassers, ja que el comte de Prades tenia la jurisdicció criminal d'aquests territoris, mentre que la civil corresponia al bisbe de Tortosa. L'agost de 1994 es descobrí a Cabassers una col·lecció de documents jurídics que contenen els processos fets a diversos habitants de la Baronia pels seus delictes, molt il·lustratius a l'hora de veure el funcionament del seu sistema judicial.
La Baronia va persistir fins el segle XIX, quan foren abolits els drets senyorials. Tot i això, els prelats tortosins continuaren ostentant el títol fins que l'any 1981 el prelat Ricard Maria Carles hi va renunciar perquè considerava que era ja un honor fora de temps.