John Brown werd op 9 mei 1800 geboren in Torrington, Connecticut. Hij was het vierde van de acht kinderen van Owen Brown (1771-1856) en Ruth Mills (1772-1808) en de kleinzoon van kapitein John Brown (1728-1776). Browns voorouders waren 17e-eeuwse Engelse puriteinen.
In 1805 verhuisde de familie naar Hudson, Ohio. Owen Brown opende hier een leerlooierij. In Hudson was veel anti-slavernij activiteit. Owen maakte daar deel van uit. Owen bood een onderduikadres aan vluchtelingen van de Underground Railroad. Er was toen geen middelbare school in Hudson, dus studeerde John op de school van de abolitionist Elizur Wright. Elizur Wright was de vader van Elizur Wright, in het nabijgelegen Tallmadge.
De vader van Ulysses S. Grant, Jesse R. Grant, was de leerling van Owen Brown.
Toen hij 16 jaar oud was, verliet Brown zijn familie en ging naar Plainfield, Massachusetts. Hij sloot zich aan bij een voorbereidend programma. Kort daarna ging hij naar de Morris Academy in Litchfield, Connecticut.
In 1820 trouwde Brown met Dianthe Lusk. Hun eerste kind, John Jr, werd 13 maanden later geboren. In 1825, op zoek naar een veiliger plek (voor gevluchte slaven), verhuisde Brown met zijn gezin naar New Richmond, Pennsylvania. Hij kocht 200 acres (81 hectare) land. Hij ontgon een achtste deel en bouwde er een hut, een schuur en een leerlooierij. De looierij had een geheime kamer om ontsnapte slaven te verbergen. De John Brown Tannery Site werd in 1978 opgenomen in het National Register of Historic Places. Het "was een belangrijke halte op de [Underground] Railroad en markeerde zijn plaats in de geschiedenis van 1825 tot 1835". In die periode hielp Brown naar schatting 2500 slaven ontsnappen.
In 1829 vroegen enkele blanke families Brown hen te helpen bij het verwijderen van de indianen die jaarlijks in het gebied jaagden. Brown zei hen: "Ik wil niets te maken hebben met [zo'n] gemene daad. Ik pak liever mijn geweer en help u het land uit. Gedurende zijn hele leven onderhield Brown vreedzame betrekkingen met zijn Indiaanse buren. Soms ging hij met hen mee op jacht, en hij nodigde hen uit om bij hem thuis te komen eten.
In 1831 stierf een van zijn zonen. Brown werd ziek, en zijn bedrijven begonnen slecht te lopen. Hierdoor had Brown veel schulden. In de zomer van 1832, kort na de dood van een pasgeboren zoon, stierf zijn vrouw Dianthe. Het enige gezin dat hij nog had waren zijn kinderen John Jr., Jason, Owen en Ruth. (Op 14 juni 1833 trouwde Brown met de 16-jarige Mary Ann Day (15 april 1817 - 1 mei 1884). Zij kwam uit Washington County, New York. Zij kregen 13 kinderen; de kinderen die nog in leven waren bij John Browns dood waren Salmon, Annie, Sarah en Ellen.
In 1836 verhuisde Brown met zijn gezin naar Franklin Mills, Ohio (nu bekend als Kent). Daar leende hij geld om land in de omgeving te kopen. Hij bouwde en exploiteerde een leerlooierij langs de Cuyahoga rivier. Zijn partner was Zenas Kent.
In 1837, toen hij hoorde dat Elijah P. Lovejoy was vermoord, beloofde Brown: "Hier, voor God, [met getuigen om mij heen], wijd ik vanaf [nu] mijn leven aan de vernietiging van de slavernij!"
Hij geloofde sterk in het christendom. Hij vond dat christenen mensen gelijk moesten behandelen, ongeacht hun huidskleur. Veel blanke christenen in Amerika waren het hier in die tijd niet mee eens.
