> я вот не припомню к какой еще стране применяется "на"
Бери любые другие географические названия и будет профит. С островными государствами проще всего. На Кипр, на Кубу, на Мадагаскар, на Гаити и т.д.
Если бы на географическом регионе Кавказа существовало государство, которое так бы и звалось, то люди еще долго говорили бы "на Кавказе", например.
Так говорили давно, не подразумевая ничьих оскорблений.