Japan was het eerste land dat spoorlijnen aanlegde voor hogesnelheidsverkeer. Omdat Japan veel bergen heeft, bestond het reeds bestaande netwerk uit smalspoorlijnen met een spoorbreedte van 1067 mm, die meestal niet-rechtstreekse routes namen en niet konden worden aangepast aan hogere snelheden. Daarom had Japan meer behoefte aan nieuwe hogesnelheidslijnen dan landen waar het bestaande spoorwegsysteem met standaardspoor of breedspoor gemakkelijk kon worden aangepast. In tegenstelling tot de oudere lijnen zijn de Shinkansen-lijnen standaardspoor en maken ze gebruik van tunnels en viaducten om door en over obstakels heen te rijden, in plaats van eromheen.
De bouw van het eerste deel van de Tokaido Shinkansen tussen Tokio en Osaka begon in 1959. De lijn werd geopend op 1 oktober 1964, net op tijd voor de Olympische Spelen in Tokio. De lijn was onmiddellijk een succes en bereikte de grens van 100 miljoen passagiers in minder dan drie jaar op 13 juli 1967 en een miljard passagiers in 1976.
De eerste Shinkansen-treinen reden met snelheden tot 200 km/u (120 mph), later verhoogd tot 220 km/u (140 mph). Sommige van deze treinen, met hun klassieke kogelronde uiterlijk, zijn nog steeds in gebruik voor stopdiensten tussen Hakata en Osaka. Een stuurstandrijtuig van een van de oorspronkelijke treinen staat nu in het British National Railway Museum in York.
Vele meer geavanceerde modellen van de trein volgden het eerste type, meestal elk met een eigen karakteristiek uiterlijk. Shinkansen-treinen rijden nu regelmatig met snelheden tot 300 km/u (190 mph), waarmee ze samen met de Franse TGV en de Duitse ICE-treinen tot de snelste treinen ter wereld behoren.
Oorspronkelijk waren de Shinkansen-lijnen bedoeld om overdag en 's nachts passagiers- en goederentreinen te vervoeren, maar nu rijden er alleen passagierstreinen. Het systeem wordt elke dag tussen middernacht en 6.00 uur stilgelegd voor onderhoud, waaronder het rijden van Doctor Yellow testtreinen. De weinige nachttreinen die nog in Japan rijden, rijden op het oude smalspoornetwerk waaraan de Shinkansen parallel loopt.
In 2003 meldde JR Tokai dat de gemiddelde aankomsttijd van de Shinkansen binnen 6 seconden van de geplande tijd lag. Dit omvat alle natuurlijke en menselijke ongevallen en fouten en is berekend op basis van ongeveer 160.000 reizen die de Shinkansen maakten. Het vorige record dateerde van 1997 en bedroeg 18 seconden.
De eerste ontsporing (treinongeluk) van een Shinkansen trein in passagiersdienst vond plaats tijdens de Chuetsu aardbeving op 23 oktober 2004. 6 van de in totaal 8 wagons van de trein op de Joetsu Shinkansen ontspoorden nabij Nagaoka Station in Nagaoka, Niigata.
In 1965 werden betaaltelefoons beschikbaar gesteld in Shinkansen-treinen. Die dienst eindigde op 29 juni 2021, omdat passagiers op grote schaal mobiele telefoons bezaten.