Sekretariat Bersama Golongan Karya didirikan pada tanggal 20 Oktober 1964. Sekber Golkar ini lahir karena rongrongan dari PKI beserta ormasnya dalam kehidupan politik baik di dalam maupun di luar Front Nasional yang makin meningkat. Sekber Golkar ini merupakan wadah dari golongan fungsional/golongan karya murni yang tidak berada di bawah pengaruh politik tertentu. Jumlah anggota Sekber Golkar ini bertambah dengan pesat, karena golongan fungsional lain yang menjadi anggota Sekber Golkar dalam Front Nasional menyadari bahwa perjuangan dari organisasi fungsional Sekber Golkar adalah untuk menegakkan Pancasila dan UUD 1945. Semula anggotanya berjumlah 61 organisasi yang kemudia berkembang hingga mencapai 291 organisasi. 

Dalam adanya pengakuan tentang kehadiran dan legalitas golongan fungsional di MPRS dan Front Nasional maka atas dorongan TNi di bentuklah Sekretariat Bersama Golongan Karya, disingkat Sekber Golkar, pada tanggal 20 Oktober 1964. Terpilih sebagai Ketua Pertama, Brigadir Jenderal Djuhartono sebelum di gantikan Mayor Jenderal Suprapto Sukowati lewat Musyawarah Kerja Nasional (Mukernas) I, Desember 1965. 

Pada awal pertumbuhannya, Sekber Golkar beranggotakan 61 organisasi fungsional yang kemudian berkembang menjadi 291 organisasi fungsional. Ini terjadi karena adanya kesamaan visi di antara masing-masing anggota. Organisasi-organisasi yang terhimpun ke dalam Sekber Golkar ini kemudian dikelompokkan berdasarkan kekaryaannya ke dalam 7 (tujuh) Kelompok Induk Organisasi (KINO), yaitu: Koperasi Serbaguna Gotong Royong, Sentral Organisasi Karyawan Swadiri Indonesia, Musyawarah Kekeluargaan Gotong Royong, Organisasi Profesi, Ormas Pertahanan Keamanan, Gerakan Karya Rakyat Indonesia, Gerakan Pembangunan.

Pada masa Orde Baru (1971-1998) Golkar mendominasi pemilu selama masa pemerintahan Soeharto, dengan sistem politik yang sangat terkontrol. Selama periode ini, Golkar bukanlah partai politik dalam arti konvensional, tetapi lebih sebagai alat politik pemerintah. 

Pada masa Reformasi dan pemilu 1999 setelah kejatuhan Soeharto pada 1998, Golkar bertransformasi menjadi partai politik dalam sistem demokrasi yang lebih terbuka. Pada Pemilu 1999, Golkar tetap bertahan sebagai partai besar dengan memperoleh 22,44% suara dan 120 kursi di DPR. 

Pada Pemilu 2004 hingga 2019 Golkar terus menjadi salah satu partai politik terbesar di Indonesia, dengan beberapa kali menempati posisi kedua dalam perolehan suara nasional. Partai ini juga berperan dalam berbagai koalisi pemerintahan, baik sebagai oposisi maupun sebagai bagian dari pemerintahan.