Haut-Rhin is een van de oorspronkelijke 83 departementen die tijdens de Franse Revolutie op 4 maart 1790 werden opgericht. Het werd verdeeld in drie districten: Altkirch, Belfort en Colmar, met Colmar als hoofdstad.
In 1800, met de creatie van de arrondissementen in Frankrijk, werden de drie arrondissementen veranderd in vijf arrondissementen: Colmar, Altkirch, Belfort, Delémont en Porrentruy. De arrondissementen Delémont en Porrentruy werden in 1814 opgeheven en naar Zwitserland overgebracht.
De onderprefectuur van Altkirch werd in 1857 verplaatst naar Mulhouse.
Het departement Haut-Rhin werd in 1871 opgeheven toen het grondgebied deel ging uitmaken van Duitsland, met uitzondering van een deel dat het Territoire de Belfort vormt.
In 1919 is Haut-Rhin opnieuw een departement toen het grondgebied deel ging uitmaken van Frankrijk met de arrondissementen Colmar-Ville, Colmar-Campagne, Altkirch, Guebwiller, Mulhouse, Ribeauvillé en Thann. De hoofdstad is Colmar.
De arrondissementen Colmar-Ville en Colmar-Campagne werden in 1934 samengevoegd tot het arrondissement Colmar.
Het arrondissement Guebwiller werd in 2015 opgeheven en het grondgebied ervan samengevoegd met dat van Tharn tot het arrondissement Thann-Guebwiller. In datzelfde jaar werd ook het arrondissement Ribeauvillé opgeheven en zijn grondgebied samengevoegd met dat van Colmar tot het arrondissement Colmar-Ribeauvillé.
