El nombre de Castelloza ha sido interpretado como un compuesto de castel con el sufijo –osa, traducido como “propietaria de castillos”. A su vez, ha sido vinculado a topónimos particulares como Casteloux, Casteldoze o Castel-d’Auzon (La Salle de Rochemaure 1977: 397; Guida-Larghi 2014; Paden 1981: 158-159).