Sejak usia 9 tahun, KH Yusuf Azhary muda sudah tinggal di tanah suci Mekah, ia menetap di rumah Hj Marwiyah tua, dekat Masjidil Haram bersama dua orang sepupunya, Mansur dan Muhsin. Tidak ada catatan yang pasti tentang tahun kelahirannya, diperkirakan sekitar tahun 1912, berdasar pada rentang waktu saat menetap di Mekah antara tahun 1920-1930.
KH Yusuf Azhary lahir dari pasangan seorang saudagar kaya di Kota Plered, Cirebon Jawa Barat. Ayahnya bernama H Abdul Hamid dan ibunya Hj Marwiyah muda. Bisnis ayahnya berupa jual beli hasil bumi, pada saat itu hampir menguasai seluruh jalur perdagangan utama Kota Plered.
Namun, kegelisahan menghampiri hati ibunya, ia tak ingin melihat anaknya menjadi seorang yang sibuk berdagang seperti dirinya, ia menginginkan agar Yusuf belajar dan mendalami ilmu agama Islam. Maka Yusuf kecil pun kemudian di pondokan disalah satu pesantren di wilayah Babakan, Ciwaringin, Cirebon.
Usai dirasa memilki bekal yang cukup, Yusuf muda kemudian berangkat ke Mekah untuk menyempurnakan rukun Islam ke lima sekaligus menyempurnakan ilmu agama Islam dengan belajar langsung di tanah kelahiran Islam. Keberangkatan Yusuf ke Mekah dibantu oleh H Anwar, Paman Yusuf yang bekerja sebagai pegawai kantor konsulat jendral Belanda di Jeddah, Arab Saudi.
Mbah Yusuf dalam catatan pribadinya, dinukil dari Website Resmi MA Al Azhary, ia menulis : Mukim di Mekkah Mukarromah 5 tahun, di Madrasah Fahriyyah Muhafadhoh Quran dengan Syekh Hasan Al-Arabi Al-Mardad kemudian ke Mesir ke Darul Ulum kemudian ziarah ke Baitul Maqdis Yerussalem.Â
Di Mekah, Yusuf muda belajar Al-Quran kepada  Syekh Hasan Al-Arabi Al-Mardad di Madrasah Fakhriyyah Muhafadhoh Quran. Kemudian melanjutkan pengembaraan mencari ilmunya di Madrasah Darul Ulum, Mesir.
Sebelum singgah di Mesir, Yusuf muda juga sempat melakukan ziarah keberapa ke makan Nabi Ibrahim di Baitulmaqdis di Palestina, dan ke Gunung Thursina tempat Nabi Musa memperoleh wahyu.
Saat sedang menuntu ilmu di Madrasah Darul Ulum Mesir, datang kabar dari orang tuanya yang memintanya untuk segera pulang ke Jawa. Yusuf pun kemudian kembali ke tanah air dan melanjutkan belajar di sejumlah pesantren di Jawa Tengah dan Yogyakarta.
Salah satu pesantren yang menjadi tempat mematangkan ilmu Al-Qurannya adalah pesantren Al-Munawwir Krapayk Yogyakarta yang diasuh oleh KH Munawwir bin Abdulal Ar Rosyid, dan sanad ilmu Al-Quran yang Mbah Yusuf juga berasal dari Mbah Munawwir.
Baca Juga :Â Slamet Effendy Yusuf dan Khittah NU
Masih menukil Website Resmi MA Al Azhary, mencatat : Mbah Yusuf mendapat sanad ke 36 dari KH Munawwir bin Abdulal Ar Rosyid yang mendapat sanad ke 35 dari gurunya Syekh Yusuf Hussain an-Nahir bin Abi Hajar.
KH Yusuf Azhary Menolak Tawaran MiliterÂ
Tak berselang lama setelah proklamasi kemerdekaan berkumandang, KH Yusuf hijrah dari Cirebon ke Purwokerto dan menetap di Dukuh Karangcengis Desa Lesmana Kecamatan Ajibarang Kabupaten Banyumas. Ia kemudian menikah dengan Ummi Kulsum, anak dari seorang tokoh masyarakat bernama H Muksin.
Ketika terjadi gejolak revolusi, KH Yusuf tercatat sempat ikut bergabung dalam barisan laskar perjuangan mempertahankan kemerdekaan Hizbullah di wilayah Ajibarang. Saat itu KH Yusuf menyandang pangkat sebagai Kapten.
Usai gejolak revolusi berakhir, ada tawaran yang menginginkan agar KH Yusuf Azhary aktif di militer, namun tawaran tersebut ditolak, ia lebih memilih untuk kembali ke Lesmana dan mendirikan Madrasah Diniyah yang membuka pengajian Al-Quran.
Pada akhir tahun 1986, tepatnya 24 November 1986 KH Yusuf Azhary mendirikan pesantren yang menekankan pada pengajaran dan pendidikan hafalan Al-Quran dengan nama Pesantren Tahfidzul Quran Al Azhary. Pola pengajaran yang digunakan masih tradisional dengan metode setoran, yaitu santri membacakan setia hasil hafalannya dihadapan gurunya.
Saat ini, pesantren peninggalan Mbah Yusuf sudah berkembang pesat menjadi sebuah pusat pendidikan islam yang moderen, degan nama Pesantren Moderen Al Azhary, ilmu yang diajarkan pun juga tidak hanya berkutik soal Agama saja, melainkan juga ilmu-ilmu umum lainya.
Sesuai dengan namanya, Pesantren Moderen Al Azhary juga memilki sejumlah lembaga pendidikan formal yang modern, lengkap dari tingkat Ibtidaiyah hingga Aliyah,
KH Yusuf Azhary wafat pada 30 September 2007, dan dimakamkan di disamping makam KH Muzni di komplek Masjid Al Hidayah Karangcengis, Lesmana.
Meski mungkin bukan yang pertama mengajar Al Quran, tapi Mbah Yusuf berhasil menanam benih-benih pentingnya pendidikan Al Quran bagi masyarakat Ajibarang dan sekitarnya.