Yamagata werd geboren op 14 juni 1838 in Hagi. Hagi was de hoofdstad van het feodale domein van Chōshū (de huidige prefectuur Yamaguchi). Hij werd opgeleid door zijn vader. Yamagata studeerde klassieke Japanse en Chinese literatuur. Hij leerde de krijgskunst van de Jujutsu. Yamagata leerde ook het militaire gebruik van de speer en hoe hij moest schermen.
Hij ging naar Shokasonjuku, een privé-school geleid door Yoshida Shōin. Daar hielp hij bij de omverwerping van het Tokugawa shogunaat in 1868. Hij was een commandant in de Kiheitai. Dit was een semi-militaire organisatie die door het Chōshū domein was opgericht volgens semi-westerse lijnen. Hij was stafofficier in de Boshin-oorlog (1867 tot 1868).
Na de omverwerping van de Tokugawa reisden Yamagata en Saigō Tsugumichi in 1869 naar het buitenland. Ze werden gestuurd om de militaire systemen van westerse landen te onderzoeken. Yamagata was onder de indruk van het Pruisische leger. Na een jaar keerde Yamagata terug en bracht hij rechtstreeks verslag uit aan keizer Meiji in Tokio. Hij werd benoemd tot "Assistent Vice Minister van Militaire Zaken". Hij gebruikte de militaire theorieën van Carl von Clausewitz en de Pruisische oorlogsspelen om het Japanse leger te veranderen. Hij werd minister van Oorlog in 1873. Hij moderniseerde het Keizerlijke Japanse Leger en liet het lijken op het Pruisische leger. Hij begon met de militaire dienstplicht in 1873.