Segundo a história, a Casa da Torre foi o solar da família Moreira. Os Moreiras são uma família antiga sendo que o primeiro que se conheceu foi Pedro Pires Moreira ou Peres de Moreira, que era um fidalgo ilustre que viveu no tempo dos reis D. Sancho I e D. Afonso II, o qual tinha por honra a freguesia de Santa Maria de Moreira no concelho de Celorico de Basto. Sabe-se que o mesmo teve três, Rui Pires Moreira, Martim Moreira e João Moreira, e faleceu em 1281 e jaz no mosteiro de Pendurada.

Esta magnífica casa do século XII, com uma linda torre que passados tantos anos ainda continua levantada, é a casa brasonada mais antiga de Celorico de Basto, do tempo de D. Afonso Henriques. Neste momento, a casa não está a exibir o seu brasão, pois a família que lá viveu mudou-se para Vila Real, levando com eles o seu brasão.

De acordo com os documentos todos, o apelido “Moreira” descende da nobre família que lá viveu.