Жить можно НА острове, но В стране. "из Кавказа" - это, как я думаю, должно означать, что человек откопался из Кавказских шахт. А с Кавказа, потому что с гор. Ведь говорят: "из Заказвказья"