Né le 16 mai 1936 à Sigmaringen (Allemagne), Karl Lehmann fréquente le lycée public de la ville jusqu'à son baccalauréat. Il commence ses études supérieures à l'université Albert Ludwigs de Fribourg-en-Brisau (1956-1957) et les poursuit à l'université Grégorienne de Rome, jusqu'en 1960 pour la philosophie et 1964 pour la théologie, tout en étant élève du Collège pontifical germano-hongrois. Ordonné prêtre le 10 octobre 1963, il revient en Allemagne comme assistant du professeur Karl Rahner à l'université Ludwig Maximilians de Munich (1964-1968). Il devient ensuite titulaire de la chaire dogmatique à la faculté de théologie catholique de l'université Johannes Gutenberg à Mayence. Il est par ailleurs membre du comité central des catholiques allemands (1969-1983), et professeur de dogmatique et de théologie à Fribourg-en-Brisau (1971-1983). Il suit également la préparation de l'édition officielle des documents du synode commun des diocèses de la République fédérale d'Allemagne (Würzburg, 1971-1975).
Jean-Paul II le nomme évêque de Mayence le 23 juin 1983. Élu par ses pairs président de la conférence épiscopale allemande à Fuda en septembre 1985, il est réélu à plusieurs reprises. Il assume également la charge de secrétaire extraordinaire du synode des évêques pour l'Europe (1991). Il est élu premier président du conseil des conférences épiscopales européennes (CCEE) en 1993. Il est aussi l'auteur de nombreux ouvrages de théologie. Jean-Paul II le crée cardinal le 21 février 2001.