Foster trouwde met Jane Denny McDowell (1829 - 1903) op 22 juli 1850 in de Trinity Episcopal Church, Pittsburgh. Zij was de dochter van Andrew N. McDowell, een arts uit Pittsburgh, en Jane Denny Porter. De aantrekkingskracht tussen Foster en McDowell blijft een mysterie: Jane stond aan de rand van de vriendenkring van Foster, en had geen speciale muzikale talenten of interesses. Het is mogelijk dat ze een verloving met een andere man verbrak om met Foster te trouwen. Het enige kind van het echtpaar, Marion, een dochter, werd geboren op 18 april 1850.
Het huwelijk werd om onbekende redenen verstoord en het paar leefde gescheiden. In het voorjaar van 1853 waren ze voor het eerst gescheiden. Jane nam Marion mee naar Lewistown, Pennsylvania, waar haar moeder en zus woonden. Stephen ging naar New York City om zich bezig te houden met het schrijven van liedjes. Het paar kwam binnen een jaar weer bij elkaar, maar scheidde steeds weer.
Jane en Marion keerden in juli 1861 terug naar Pennsylvania na een verblijf in New York bij Stephen. Hij had geldproblemen en zijn alcoholisme verergerde. Jane verhuisde naar Greensburg, Pennsylvania, waar ze werkte als telegrafiste voor de Pennsylvania Railroad. Haar dochter bleef waarschijnlijk bij familie elders achter. Jane bezocht Stephen in New York City in september 1861, en daarna nog verschillende keren.
Op een onbekende datum na de dood van Stephen in 1864 trouwde Jane met Matthew D. Wiley, een bagage afhandelaar en expres agent. Zij werkte als telegrafist bij het Allegheny-depot van de Pennsylvania Railroad. Ze onderhield verschillende familieleden, waaronder haar dochter, haar moeder en haar kleinkinderen. Ze stierf in 1903 aan brandwonden toen een vonk haar kleding in brand stak terwijl ze bij een open haard lag te dommelen. Tegen die tijd hadden zij en haar dochter meer dan $4,100 aan royalty's ontvangen van Stephen's liedjes. Ze is begraven op het Allegheny kerkhof.
Marion Foster (1850 - 1935) trouwde met William Welsh en kreeg drie kinderen. Nadat ze in St. Louis en Chicago had gewoond, verhuisde ze in 1914 naar een herenhuis (als huisbewaarster) op de plaats van het huis van haar grootouders in Lawrenceville. Ze was arm, gaf tot haar zeventigste pianoles en vocht zonder succes tegen de regering voor de teruggave van een stuk land dat ooit van haar grootvader was geweest.