Sejak SMP di Ternate, Abdul Gafur telah aktif berorganisasi. Pada tahun 1996, Abdul Gafur tampil sebagai pemimpin dalam Organisasi Panitia Pengganyangan Gestapu PKI UI dan bergabung dengan KAMI Pusat (Kesatuan Aksi Mahasiswa Indonesia) melancarkan aksi-aksi Tritura (Tiga Tuntutan Rakyat) untuk menggayang G30 S/PKI.

Karier militernya dimulai sebagai Letnan Muda AURI pada tahun 1964. Pangkat terakhirnya adalah Marsekal Muda (Purn)

Di Era Orde Baru, Abdul Gafur diangkat sebagai

• nggota DPR/MPR Fraksi ABRI (1972-1978);
• Anggota MPR RI (1972-2009).
• Menteri Muda Urusan Pemuda dalam Kabinet Pembangunan III 1978-1983;
• Menteri Negara Pemuda dan Olahraga (1983-1988)
• Anggota DPA-RI (1988-1993).

Atas pengabdiannya itu ia mendapatkan  tanda penghargaan dari Negara, yaitu Bintang Mahaputra Adhipradana, Satya Lencana kesetiaan 16 tahun, Satya Lencana Kesetiaan 8 tahun dan Satya Lencana Dwidya Sista