Polycarp Pengo naît le 5 août 1944 à Mwazye, dans le diocèse de Sumbawanga (Tanzanie). Après des études secondaires dans différents petits séminaires, il intègre le grand séminaire de Kipalapala pour son cursus en philosophie (1965-1967) et en théologie (1968-1971). Après son ordination, le 20 juin 1971, il devient le secrétaire de l'évêque de Sumbawanga. Puis, envoyé à Rome (1973-1977), il obtient le doctorat en théologie auprès de l'université du Latran. Revenu dans son pays, il enseigne la théologie morale au grand séminaire de Kipalapala pendant une année universitaire puis assume la charge de recteur du grand séminaire de Segerea (1978-1983). C'est alors qu'il est nommé évêque de Nachingwea, le 11 novembre 1983. À la création du nouveau diocèse de Tunduru-Masasi, le 17 octobre 1986, il en devient le premier évêque. Enfin, il est nommé archevêque coadjuteur de Dar-es-Salaam, le 22 janvier 1990, avant de succéder au cardinal Laurean Rugambwa, le 22 juillet 1992. Il est créé cardinal par Jean-Paul II le 21 février 1998