De gecanoniseerde geschriften van het Nieuwe Testament, alsmede andere geschreven bronnen uit de vroege kerk, geven enig inzicht in het leven van Jacobus en zijn rol in de vroege kerk. De Synoptici noemen zijn naam, maar verder niets over hem, terwijl het Evangelie van Johannes en de eerste hoofdstukken van de Handelingen van de Apostelen Jacobus niet eens noemen.
Handelingen der Apostelen levert in latere hoofdstukken het bewijs dat Jacobus een belangrijke figuur was in de christelijke gemeenschap van Jeruzalem. Wanneer Petrus, op wonderbaarlijke wijze ontsnapt uit de gevangenis, Jeruzalem moet ontvluchten, vraagt hij dat Jacobus wordt ingelicht (12:17). Wanneer de christenen van Antiochië zich afvragen of niet-Joodse christenen besneden moeten worden om gered te worden, en zij Paulus en Barnabas naar Jeruzalem sturen om daar met de gemeente te overleggen, speelt Jakobus een prominente rol in de formulering van het besluit van de raad (15:13 e.v.). Nadat Petrus en Paulus hun argumenten naar voren hebben gebracht, is het Jakobus die uiteindelijk zijn "oordeel" uitspreekt - de oorspronkelijke betekenis ligt dicht bij "mijn uitspraak" - en dat vervolgens door allen wordt aanvaard. Jakobus heeft met andere woorden de leiding over de groep in Jeruzalem, wat in strijd is met de latere beweringen over Petrus' voorrang. En wanneer Paulus in Jeruzalem aankomt om het geld af te leveren dat hij voor de gelovigen daar heeft ingezameld, is het tot Jakobus dat hij spreekt, en die erop aandringt dat Paulus zich ritueel reinigt in de tempel van Herodes om zijn geloof te bewijzen en geruchten te ontzenuwen dat hij rebellie tegen de Torah zou onderwijzen (21:18 e.v.) (een beschuldiging van antinomianisme).
Paulus beschrijft Jakobus verder als één van de personen aan wie de opgestane Christus zich toonde (1 Korintiërs 15:3-8); later in 1 Korintiërs noemt hij Jakobus op een manier die suggereert dat Jakobus getrouwd was (9:5); en in Galaten noemt Paulus Jakobus met Cefas (beter bekend als Petrus) en Johannes, als de drie "pilaren" van de Kerk, en die de "besnedenen" (in het algemeen Joden en Joodse proselieten) in Jeruzalem zullen bedienen, terwijl Paulus en de zijnen de "onbesnedenen" (in het algemeen heidenen) zullen bedienen. (2:9, 2:12). Deze termen (besnedenen/onbesnedenen) worden over het algemeen geïnterpreteerd als Joden en Grieken, die de overhand hadden, maar het is een oversimplificatie omdat de provincie Iudaea in de 1e eeuw ook enkele Joden had die niet langer besneden waren, en enkele Grieken (Proselieten of Judaïsanten genoemd) en anderen zoals Egyptenaren, Ethiopiërs en Arabieren die dat wel deden.
