De monding van de Don is al sinds de oudheid heel belangrijk. Het is belangrijk geweest om culturele redenen en voor de handel. De Griekse kolonie Tanais was er, en ook het Genuese fort Tana. Later bouwde het Ottomaanse Rijk er een fort. Dit fort kreeg de naam Azov.
Rostov-on-Don werd opgericht in 1749. In dat jaar werd er een douanehuis aan de Don gebouwd. Later volgde een grote vesting. Het werd vernoemd naar de Heilige Dimitrie van Rostov. Dmitry van Rostov was een bisschop uit de oude Noordelijke stad Rostov de Grote. Met de tijd werd het belang van de vesting Asov steeds minder. De nederzetting bij de vesting werd belangrijker dan de vesting. Het was het commerciële centrum van de regio. In 1796 kreeg deze nederzetting stadsrechten en werd omgedoopt tot Rostov-on-Don.
De Don rivier die de stad afrer heet is een belangrijke scheepvaartroute. Het verbindt het zuidwesten van Rusland met regio's in het noorden. Rostov-on-Don is een belangrijke rivierhaven, zowel voor de mensen als voor de industriële scheepvaart. Met zo'n goede geografische ligging groeide de stad snel. Het is de meest geïndustrialiseerde stad van Zuid-Rusland. Hierdoor veroorzaakte de stad een groot probleem tussen de blanken en de bolsjewieken tijdens de Burgeroorlog. In 1928 werd het regionale bestuur verplaatst van de oude Kozakkenhoofdstad Novocherkassk naar Rostov. De nabijgelegen Armeense stad Nor Nachijevan werd een deel van de stad.
In de Sovjetjaren vernietigden de bolsjewieken twee van de belangrijkste bezienswaardigheden van Rostov - de Sint-Alexander Nevski-kathedraal (1908) en de Sint-Joris-kathedraal in Nachitsjevan (1783-1807). Een groot deel van de stad werd vernietigd door de Duitse troepen die er drie keer de controle over namen - in 1918, 1941 en 1942. Vandaag de dag is het meest opmerkelijke deel van de historische stad de zeer grote kathedraal van de Maagdelijke Geboorte (1860-87), ontworpen door Konstantin Thon.
De stad was ook de thuisbasis van de bekendste seriemoordenaar van Rusland, Andrei Chikatilo, maar hij is er eigenlijk niet geboren.
Rostov-on-Don heeft de afgelopen jaren veel economische groei gekend. Dit komt onder andere doordat de Russische economie sterker wordt. Veel nieuwe bedrijven hebben hun hoofdkwartier in de stad gebouwd. De mensen die in de stad wonen verdienen meer geld dan in het verleden. De stad wordt door de ineenstorting van het communisme veranderd van een plaats die terug in de tijd is geslingerd in een moderne, industriële en technologierijke stad.