Sepuluh partai politik berapartisipasi dalam pemilu legislatif tahun 1971, jumlah yang dianggap terlalu banyak oleh Presiden Soeharto. Soeharto ingin agar partai politik dikurangi menjadi dua atau tiga saja dan partai-partai tersebut dikelompokkan berdasarkan programnya. 

Dasar penggabungan yang kemudian melahirkan PPP adalah koalisi empat Partai Islam di Dewan Perwakilan Rakyat (DPR) yang disebut Fraksi Persatuan Pembangunan. Fraksi ini terdiri dari Nadhatul Ulama (NU), Partai Islam Indonesia (PARMUSI), Partai Syarikat Islam Indonesia (PSII), dan Persatuan Tabiyah Islamiyah (PERTI).

Dengan Dorongan dari pemerintah, para pejabat dari keempat partai mengadakan pertemuan satu sama lain dan setelah menemukan titik temu mereka menggabungkan keempat partai Islam di Indonesia ke dalam Partai Persatuan Pembangunan pada tanggal 5 Januari 1973. Meskipun demikian, partai-partai tersebut secara resmi bergabung, tetapi internal Poiltik PPP di bawah pemerintahan Suharto didominasi oleh perbedaan prioritas kelompok-kelompok awal yang membentuk partai tersebut. 

Sebagai partai Islam pada era Orde Baru (1973 – 1998 ) PPP kerap mengalami tekanan politik dari rezim Orde Baru yang dipimpin oleh Presiden Soeharto. Meski begitu, PPP telah menjadi salah satu dari hanya tiga partai yang diizinkan beroperasi saat itu, bersama Partai Golkar dan Partai Demokrasi Indonesia (PDI). Setelah jatuhnya soeharto pada 1998, PPP mengalami kebangkitan dengan memperoleh sekitar 10,71% suara dan 58 kursi di DPR pada pemilu 1999. Partai ini berperan aktif dalam menyusun konstitusi pasca-reformasi. 

PPP mengalami penurunan suara pada pemilu 2004 dan 2009. PPP hanya memperoleh 8,15% suara pada tahun 2004 dan 5,32% pada tahun 2009. Meski demikian, partai ini tetap mempertahankan eksistensinya di parlemen. Dalam Pemilu 2014, PPP meraih 6,53% suara dengan 39 kursi di DPR. Sementara itu, pada Pemilu 2019, partai ini mendapatkan 4,52% suara dan 19 kursi di DPR, tepat di atas ambang batas parlemen.