Santuário NSa da Penha e o Colégio Salesiano - Foto: Divulgação

No início da colonização portuguesa instalaram-se fazendas escravocratas na região, mas estas foram desativadas antes do início da imigração italiana no século XIX. A colonização no município se deu com a doação de terras na época do Segundo Império (D. Pedro II). O clima da região fez com que uma parte dos imigrantes italianos da colônia de Rio Novo do Sul iniciasse uma migração interna para a região que compreende hoje os municípios de Vargem Alta, Venda Nova do Imigrante e outros.

Estes imigrantes primeiramente se estabeleceram nas comunidades de São joão, Boa Esperança,e Concórdia. E progressivamente foram conquistadas Vargem Alta, Prosperidade, Pombal, São José de Fruteiras e Castelinho. O município de Vargem Alta é cortado longitudinalmente de norte a sul pela Rodovia ES-164 (Rodovia Geraldo Sartório). 

A Estrada de Ferro Leopoldina também cruza o território e foi a responsável em grande parte da história do município pelo seu desenvolvimento e também pela formação dos núcleos populacionais surgidos a partir de sua construção.

No município, mais exatamente da localidade de Prosperidade, foi extraído em 1957 o primeiro bloco de mármore no estado do Espírito Santo, inaugurando a fase de exploração e beneficiamento de rochas ornamentais do Estado. A emancipação se deu em março de 1988 através de plebiscito onde 87 % da população foi favorável a separação do município de Cachoeiro de Itapemirim.