Perpustakaan UIN pada awalnya merupakan peralihan nama dari Perpustakaan IAIN Jakarta, yang didirikan seiring dengan berdirinya IAIN itu sendiri, yaitu sejak berdirinya ADIA (Akademi Dinas Ilmu Agama) pada tanggal 1 Juni 1957. Pada waktu itu kondisi perpustakaan masih sangat sederhana, hanya terdiri dari satu ruangan dengan koleksi sebanyak 2000 eksemplar, dan hanya dikelola oleh seorang pegawai. Pada tahun 1960-1964 Perpustakaan IAIN dipimpin oleh Drs. A. Syadali (beliau adalah Rektor IAIN tahun 1984-1993). Dibawah kepemimpinannya perpustakaan sudah mulai dikelola secara lebih sistematis. Pada periode tersebut, koleksi buku diklasifikasi menurut DDC (Dewey Decimal Classification). Di samping itu sistem peminjaman juga sudah mulai tertib, dan jumlah pegawainya ada 4 orang.

Tahun 1964-1971 Perpustakaan IAIN dikepalai oleh Ny. Nabilah Lubis, beliau adalah sarjana muda ilmu perpustakaan dari Universitas Cairo, Mesir. Pada masanya Perpustakaan IAIN banyak menerima sumbangan buku dari berbagai lembaga, khususnya kedutaan Mesir dan Saudi Arabia, sehingga pada Januari 1969 jumlah koleksi menjadi 1.320 judul dan 10.999 eks buku, 23 skripsi, dan 310 eks majalah. Prof. DR. Nabilah Lubis saat ini adalah guru besar pada Fakultas Adab dan Humaniora UIN Jakarta. Selanjutnya, pada tahun 1971-1983 Perpustakaan IAIN dipimpin oleh Ny. Dra. Hj. Halimah Madjid. Di bawah kepemimpinannya perpustakaan ditata lebih teratur dan menempati ruang yang lebih luas (gedung Aula Madya saat ini). Pada masa inilah puncak prestasi perpustakaan berhasil diraih, tepatnya pada tahun 1980 Perpustakaan IAIN Jakarta tercatat sebagai perpustakaan perguruan tinggi terbaik se-DKI Jakarta.