James Francis Stafford naît à Baltimore, dans le Maryland (États-Unis), le 26 juillet 1932. Il étudie au Loyola College et au St Mary's Seminary University de Baltimore, puis à Rome où il est ordonné prêtre le 15 décembre 1957. Vicaire en paroisse dans son diocèse, il suit des cours (1962-1964) à l'Université catholique d'Amérique à Washington (États-Unis). Puis, il reprend son ministère pastoral avant d'être nommé évêque auxiliaire de Baltimore, le 19 janvier 1976. Il est ensuite appelé à la charge d'évêque de Memphis, dans le Tennessee, le 17 novembre 1982. Puis, il est nommé archevêque de Denver, le 31 juillet 1986. Il accueille les VIIIèmes Journées mondiales de la jeunesse (JMJ), en août 1993, dans son diocèse. Au sein de la conférence épiscopale américaine, il s'occupe beaucoup du dialogue avec les autres confessions chrétiennes (orthodoxes, méthodistes) et autres croyants (juifs). Il est élu président de la commission épiscopale pour les affaires œcuméniques et interreligieuses (1988-1991). Le 20 août 1996, Jean-Paul II l'appelle à succéder au cardinal Pironio comme président du conseil pontifical pour les laïcs. À ce titre, il participe à l'organisation des XIIèmes JMJ à Paris (août 1997). Il est créé cardinal par Jean-Paul II le 21 février 1998