Troisième d'une famille de quatre enfants, Zenon Grocholewski naît le 11 octobre 1939 à Brodki en Pologne. Il accomplit ses études de philosophie et de théologie au séminaire de Poznan avant d'être ordonné prêtre le 27 mai 1963. Il exerce ensuite pendant trois ans un ministère en paroisse à Poznan. Puis à partir de 1966, il commence une formation pour obtenir la licence en droit canonique en 1968 et le doctorat en 1972 à l'université Grégorienne à Rome. Il participe au cours triennal du Studio Rotale et obtient le diplôme d'avocat rotal. De 1972 à 1999, il occupe plusieurs charges successives de notaire, chancelier et secrétaire eu Tribunal de la Signature apostolique, avant d'en devenir le préfet le 5 octobre 1998, et président de la Cour de Cassation de la Cité du Vatican. En 1982 il participe aux travaux de la commission qui revoit avec le pape le projet de nouveau code de droit canonique, qui est promulgué en 1983. Il fait aussi partie de la commission pour la réforme de la Curie romaine de 1983 à 1985. De 1975 à 1999, il enseigne le droit canonique à l'université Grégorienne, et de 1986 à 1998 au Studio Rotale. Le 15 novembre 1999, Jean-Paul II le nomme préfet de la congrégation pour l'Éducation catholique. Il est créé cardinal par le pape le 21 février 2001.