Ergue-se sobre um maciço de pedra, em posição dominante sobre a povoação da antiga Vila de Basto, que já foi a sede do Concelho com Casa da Câmara, Pelourinho e Cadeia. Alguns autores remontem a primitiva ocupação humana deste sítio à época da invasão romana da Península Ibérica, embora essa não se encontre documentada.

Verdade ou não, é facto que, em 1282, D. Dinis arrendou os domínios de Celorico de Basto a Martim Joanes, pelo montante de 210 morabitinos, com a obrigação de que o arrendatário contratasse um cavaleiro para as funções de alcaide deste castelo. Os domínios e o castelo foram arrendadas pelo mesmo soberano em 1284 aos moradores de Celorico de Basto.

Em meados do século XX, o Castelo de Arnóia foi classificado como Monumento Nacional por Decreto publicado em 15 de março de 1946.