Di dekat Rawabango, Desa Bojong, Kecamatan Karangtengah, Kabupaten Cianjur—sekitar 3 km dari pusat Kota Cianjur ke arah Bandung—terhampar tanah seluas kurang lebih ±16.000 m² yang membentang dari jalan raya ke arah dalam. Tanah tersebut merupakan milik H. Acep Badruddin, seorang pedagang sukses asal Ciamis yang berdomisili di Jakarta Timur bersama istrinya, almarhumah Hj. Mimin Rukmini dari Tasikmalaya. Sejak tahun 1970, tanah sawah di Cianjur tersebut dibeli secara bertahap dari hasil usaha beliau di Jakarta, dimulai dari luas 600 m² hingga akhirnya mencapai 16.000 m². Meskipun rezeki yang diperoleh tidak berlimpah, namun penuh keberkahan.

Keberkahan rezeki tersebut mendorong lahirnya niat ikhlas untuk mewakafkan tanah itu demi kepentingan umat. Pada awalnya, tanah tersebut telah dihibahkan kepada enam orang anak beliau: Neni Rahmani, Dewi Robiatul Adawiah, Hj. Ety Muflihah, Kikim Kamilah, Ernawati Hifdiyah, dan Diah Mahdiah. Melalui musyawarah keluarga, disepakati bahwa seluas ±13.000 m² diwakafkan untuk pendirian pesantren, sementara ±3.000 m² di bagian pinggir tetap menjadi hak milik keenam anak beliau untuk digunakan sebagai tempat usaha masing-masing.

Pada akhir tahun 1996, H. Acep Badruddin mengutarakan secara serius keinginannya untuk mendirikan sebuah pondok pesantren di Cianjur. Harapan ini sejalan dengan cita-cita menantu beliau yang ketiga, KH. Kamali Abdul Ghani, serta anak cucu yang memiliki latar belakang dan keahlian di bidang kepesantrenan. Pembicaraan awal mengenai perencanaan pendirian pesantren dilakukan bersama Hj. Ety Muflihah dan suaminya, KH. Kamali Abdul Ghani, sebagai sosok yang diharapkan dapat mengelola pesantren tersebut.

KH. Kamali Abdul Ghani merupakan putra ketiga dari H. Abdul Ghani dan Hj. Ruqoyah, berasal dari Kampung Beber, Desa Cigadung, Kecamatan Banjarharjo, Kabupaten Brebes. Setelah menyelesaikan pendidikan dasar, beliau melanjutkan pendidikan di Pondok Pesantren Lirboyo Kediri selama 13 tahun hingga tamat Aliyah dan sempat mengajar.Pada tahun 1983, beliau diminta oleh KH. Syukron Ma’mun untuk mengajar kitab salafiyyah di Pondok Pesantren Darul Rahman Jakarta. Di sela-sela mengajar, beliau juga menempuh pendidikan di UMJ dan PDIT Al-Aqidah, meskipun tidak menyelesaikan pendidikan sarjana secara penuh. Pada tahun 1990, beliau menikah dengan Hj. Ety Muflihah, putri dari H. Acep Badruddin.

Niat baik pendirian pesantren disambut dengan penuh pertimbangan oleh KH. Kamali Abdul Ghani. Faktor ekonomi dan keberlangsungan hidup keluarga menjadi bahan renungan, sehingga beliau memilih untuk terlebih dahulu melakukan istikharah. Dengan petunjuk dan keyakinan dari Allah SWT, akhirnya niat tersebut diterima sepenuh hati. Pada tahun 1997, beliau bersama istri dan dua anaknya—Annisa Amalia dan Hasbi Razak—berhijrah ke Cianjur dengan keyakinan bahwa Allah akan menolong orang-orang yang menolong agama-Nya.

Di atas tanah wakaf tersebut berdiri sebuah rumah tua yang dibangun sekitar tahun 1970-an, serta sebuah mushola sederhana berukuran 5 × 7 meter yang kurang terawat. Di tempat inilah KH. Kamali Abdul Ghani memulai aktivitas ibadah dan dakwah, meskipun sempat mencoba berdagang material yang hanya bertahan sekitar dua bulan.Setelah satu bulan menetap di Cianjur, pembangunan pondok pesantren pun dimulai dengan modal tabungan almarhumah Hj. Mimin Rukmini. Hal ini menjadi sumber kebahagiaan tersendiri bagi H. Acep Badruddin karena tabungan tersebut dapat digunakan sebagai modal awal pembangunan pesantren.

Pada tahun pertama, dibangun lima ruang belajar dengan standar sederhana. Ketika pembangunan baru mencapai tahap pengecoran tiga lokal, datanglah orang tua calon santri dari Kampung Dua, Bekasi, yang berniat menitipkan anak-anak mereka meskipun bangunan belum selesai. Kepercayaan tersebut menjadi pemicu semangat untuk segera menyelesaikan pembangunan. Dengan izin Allah SWT, sebagian bangunan dapat digunakan tepat pada tahun ajaran baru. Santri pertama Pondok Pesantren Al Ittihad berasal dari Bekasi, yaitu: Faisal Karnain, Siti Usbah, Hikmah Handayani, Nana Supriatna, dan Neneng Hasanah.

Kegiatan belajar mengajar mulai berjalan pada tahun 1997–1998 dengan jumlah awal 14 santri yang berasal dari Bekasi, Jakarta, dan Cianjur. Pada tanggal 15 April 2000, Pondok Pesantren Al Ittihad resmi diresmikan oleh KH. Syukron Ma’mun dengan dibukanya pendidikan formal tingkat SLTP dan SMU. Sejak saat itu, Pondok Pesantren Al Ittihad semakin dikenal luas. Pada tahun ajaran 2002, jumlah santri tercatat mencapai sekitar 450 orang. Pesantren ini menerapkan kurikulum terpadu yang menggabungkan sistem Pondok Modern Gontor, pesantren salafiyyah, serta pendidikan nasional, sehingga diharapkan mampu menjawab tantangan perkembangan ilmu pengetahuan dan teknologi serta memenuhi kebutuhan masyarakat dari berbagai daerah di Indonesia.