Il est le frère de l'apôtre Jean. Avec Pierre et son frère André, Jacques est donc l'un des tout premiers disciples de Jésus. La tradition synoptique en fait un des trois principaux apôtres, puisqu'il est choisi avec Pierre et Jean comme témoin d'événements cruciaux de l'Évangile : la résurrection de la fille de Jaïre (le chef d'une synagogue), la Transfiguration sur une haute montagne et la prière de Jésus au mont des Oliviers.

Sa mort en martyr est rapportée dans le Nouveau Testament : « Il (Hérode) fit périr par le glaive Jacques, frère de Jean » (Ac 12:2), au moment de l'arrestation de Pierre, et il est donc décapité.

Selon une autre légende, fondamentale pour le culte de Saint-Jacques à Saint-Jacques-de-Compostelle, ses disciples ont confié le corps de l'apôtre, après sa décapitation, à un bateau sans équipage qui a ensuite accosté en Galice, au nord-ouest de l'Espagne. Des assistants l'ont déposé plus loin à l'intérieur des terres. La tombe est ensuite tombée dans l'oubli. Après sa redécouverte au 9^e  siècle, une chapelle, puis une église et enfin la cathédrale ont été construites au-dessus, autour de laquelle s'est développé le lieu de pèlerinage de Saint-Jacques-de-Compostelle et vers laquelle mènent les chemins de Saint-Jacques.

Selon l'état actuel de la recherche, il existe, outre le Nouveau Testament, des preuves de nature très différente attestent de l'historicité de Jacques. Des indices indirects de l'activité missionnaire de Jacques pour un séjour missionnaire en Espagne et dans d'autres pays occidentaux, il en existe plusieurs. La plus ancienne source qui indique un séjour en Espagne est le linteau de porte de l'église wisigothique Sainte-Marie de Mérida, datant d'environ 600.

Le Breviarium apostolorum (vers 600), un écrit géorgien sur les territoires de mission des apôtres, précise que l'apôtre Jacques a prêché en Espagne et « dans des lieux occidentaux ».