Perpustakaan UIN pada awalnya merupakan peralihan nama dari Perpustakaan IAIN Jakarta, yang didirikan seiring dengan berdirinya IAIN itu sendiri, yaitu sejak berdirinya ADIA (Akademi Dinas Ilmu Agama) pada tanggal 1 Juni 1957. Pada waktu itu kondisi perpustakaan masih sangat sederhana, hanya terdiri dari satu ruangan dengan koleksi sebanyak 2000 eksemplar, dan hanya dikelola oleh seorang pegawai.
Pada tahun 1960-1964 Perpustakaan IAIN dipimpin oleh Drs.Syadali (beliau adalah Rektor IAIN tahun 1984-1993).Dibawah kepemimpinannya perpustakaan sudah mulai dikelola secara lebih sistematis. Pada periode tersebut, koleksi buku diklasifikasi menurut DDC (Dewey Decimal Classification). Di samping itu sistem peminjaman juga sudah mulai tertib, dan jumlah pegawainya ada 4 orang.
Tahun 1964-1971 Perpustakaan IAIN dikepalai oleh Ny. Nabilah Lubis, beliau adalah sarjana muda ilmu perpustakaan dari Universitas Cairo, Mesir. Pada masanya Perpustakaan IAIN banyak menerima sumbangan buku dari berbagai lembaga, khususnya kedutaan Mesir dan Saudi Arabia, sehingga pada Januari 1969 jumlah koleksi menjadi 1.320 judul dan 10.999 eks buku, 23 skripsi, dan 310 eks majalah. Prof. DR. Nabilah Lubis saat ini adalah guru besar pada Fakultas Adab dan Humaniora UIN Jakarta.
Selanjutnya, pada tahun 1971-1983 Perpustakaan IAIN dipimpin oleh Ny. Dra. Hj. Halimah Madjid. Di bawah kepemimpinannya perpustakaan ditata lebih teratur dan menempati ruang yang lebih luas (gedung Aula Madya saat ini). Pada masa inilah puncak prestasi perpustakaan berhasil diraih, tepatnya pada tahun 1980 Perpustakaan IAIN Jakarta tercatat sebagai perpustakaan perguruan tinggi terbaik se- DKI Jakarta.
Berikutnya pada tahun 1983-1984, perpustakaan IAIN dipimpin oleh Drs.M.Kailani Eryono, alumni Jurusan Ilmu Pertpustakaan dari Universitas Indonesia menggantikan posisi Ny. Hj. Halimah Madjid. Pada masanya Perpustakaan IAIN berkembang dengan cukup pesat. Selanjutnya pada tahun 1984-1998 Drs. Zaenal Arifin Toy MLIS, alumni jurusan bahasa Inggris dari IAIN Jakarta dan Master di bidang Ilmu Perpustakaan dari University of Illinois, Urbana-Champaign, menjadi Kepala Perpustakaan IAIN hingga tahun 1998. Pada masanya perpustakaan sempat pindah ke gedung baru berlantai tiga di Jl. Kertamukti No. 5 Pisangan Ciputat.Saat ini gedung tersebut menjadi Fakultas Psikologi. Dibawah kepemimpinan beliau telah dibentuk Sekretariat Kerja Sama Perpustakaan (SKP) yang anggotanya terdiri dari seluruh perpustakaan IAIN dan STAIN di Indonesia. Selanjutnya SKP ini diubah namanya menjadi Jaringan Perpustakaan Perguruan Tinggi Islam (JPPTI) yang dideklarasikan di Surabaya pada tahun 2003. Periode berikutnya (1998 hingga 2000) Perpustakaan IAIN dipimpin oleh Drs.M.DjuhroS. Beliau juga seorang Sarjana ilmu perpustakaan dari Universitas Indonesia. Pada masa kepemimpinannya perpustakaan kembali pindah ke gedung yang lebih baru yang dibangun di atas tanah eks gedung Sanggar Pravitasari. Dengan demikian lokasi perpustakaan dan kampus menjadi lebih dekat.
Sejak tahun 2001 hingga Februari tahun 2006, Perpustakaan Utama UIN Jakarta dikepalai oleh DR H. Udjang Tholib, MA. Beliau pernah bekerja di perpustakaan ini pada tahun 1975-1985, dan pada tahun 1984 mengikuti Program Sertifikat Tenaga Asisten Perpustakaan selama 8 bulan di Universitas Indonesia.
Berbagai upaya perbaikan telah dilaksanakan,antara lain perbaikan gedung dan perlengkapannya,penerapan sistem otomasi, penerapan sistem kemanan koleksi dengan sensormatic, penambahan jenis layanan seperti warnet, audio visual, dan lain sebaginya. Kemudian berdasarkan Surat Keputusan Rektor No.B.III/P/478A tanggal 16 Nopember 2006, Dr.Muhammad Zuhdi, S.Ag,MA diangkat sebagai Kepala Perpustakaan Utama periode 2006-2010 dengan Wakil Kepala, Nuryudi, S.Ag,SS,MLIS menggantikan Dr.H.Ujang Thalib,MA dan Wakil Kepala Drs.Iskandar Sulaiman. Kepemimpinan Dr.Muhammad Zuhdi seiring dengan berubahnya status IAIN menjadi UIN (SK Presiden No. 31 tanggal 20 Mei 2002). Dan sejak saat itu nama perpustakaan juga mengalami perubahan menjadi “Perpustakaan Utama Universitas Islam Negeri Syarif Hidayatullah Jakarta”.
Perkembangan terakhir, pada tahun 2004 bekerjasama dengan Kedutaan Amerika Serikat, Perpustakaan Utama UIN Jakarta telah membuka American Corner (Amcor) Hal tersebut dimaksudkan sebagai upaya memenuhi kebutuhan informasi para sivitas akademika, terutama berbagai informasi yang terkait dengan Amerika. Berbagai sumber informasi yang disediakan oleh Amcor adalah buku-buku, majalah, jurnal tercetak, online-journal (EBSCO, dll). Disamping itu Amcor juga secara reguler mengadakan berbagai kegiatan seperti pemutaran film, teleconference, diskusi, dll.
Selanjutnya pada tahun 2010-2013, Perpustakaan Utama dikepalai oleh Nuryudi, MLIS, alumni jurusan ilmu Perpustakaan McGill University.
Kemudian pada akhir tahun 2013- sekarang (2017) kepemimpinan Kepala Perpustakaan beralih kepada Amrullah Hasbana, S.Ag,SS,MA, alumni S-1 jurusan ilmu Perpustakaan Universitas Indonesia dan S2Leiden University jurusan Kajian Islam (Islamic Studies). Dan pada masa kepemimpinan beliau, gedung perpustakaan pindah ke gedung baru berlokasi bersebelahan dengan gedung perpustakaan lama, tepatnya di depan Gedung Fakultas Ilmu Dakwah dan Komunikasi. Gedung baru Pusat Perpustakaan ditempati secara resmi pada bulan Maret 2015.