Perpustakaan Provinsi Jawa Tengah, atau yang sering disebut para penggunanya sebagai "Perwil" (Perpustakaan Wilayah), memiliki sejarah yang lumayan panjang. Perpustakaan ini secara resmi berdiri pada tanggal 1 Agustus 1951 dengan nama Perpustakaan Negara Semarang. Pendirian perpustakaan disahkan dalam Surat Keputusan Menteri P. P. dan K Republik Indonesia No. 18165/Keb tertanggal 23 Juli 1951. Perpustakaan Negara Semarang adalah perpustakaan negara kedua di Indonesia setelah Perpustakaan Negara Yogyakarta. Lokasi pendirian PNS adalah di Gedung Openbare Leeszaal Bibliothek, Jalan Bojong (sekarang Jalan Pemuda No. 147 Semarang). Nama PNS diganti menjadi Perpustakaan Wilayah Departemen Pendidikan dan Kebudayaan Propinsi Jawa Tengah dengan status Perpustakaan Wilayah Tipe A. Penggantian nama ini ditetapkan melalui Surat Keputusan Menteri Pendidikan dan Kebudayaan Republik Indonesia No. 01990/1978 tanggal 23 Juni 1978. Perwil Propinsi Jawa Tengah pindah tempat secara resmi ke Jalan Sriwijaya No. 29 A (lokasi sekarang ini) pada tanggal 20 Maret 1987. Kemudian, berdasarkan Keputusan Republik Indonesia No. 11 tahun 1989 tentang Perpustakaan Nasional, Perwil Depdikbud Propinsi Jawa Tengah mengalami peningkatan status menjadi Perpustakaan Daerah yang menjadi bagian dari satuan Organisasi Perpustakaan Nasional tingkat daerah.Keputusan Presiden No. 50 tahun 1997 tanggal 29 Desember 1997 tentang Perpustakaan Nasional Republik Indonesia menetapkan bahwa Perpustakaan Daerah menjadi Perpustakaan Nasional Provinsi yang merupakan instansi vertikal dari Perpustakaan Nasional Republik Indonesia yang berkedudukan di Ibukota Provinsi. Keppres ini juga menetapkan bahwa Perpusda dipimpin oleh Kepala Perpustakaan Nasional Provinsi yang bertanggung jawab langsung kepada Kepala Perpustakaan Nasional Republik Indonesia.

Undang-Undang No. 22 tahun 1999 tentang Pemerintahan Daerah yang menjadi pedoman keluarnya Peraturan Daerah No. 9 tahun 2001, tanggal 29 Juni 2001, tentang pembentukan, kedudukan, tugas pokok, fungsi dan susunan organisasi kantor di lingkungan Pemerintah Daerah menyebutkan bahwa Perpustakaan Nasional Provinsi Jawa Tengah dirubah namanya menjadi Perpustakaan Daerah Provinsi Jawa Tengah. UU No. 22/1999 juga menetapkan bahwa Perpusda Provinsi Jawa Tengah merupakan kantor yang bertugas pokok membantu Gubernur menjalankan Pemerintahan Daerah dalam bidang perpustakaan.Peraturan Pemerintah No. 37 tahun 2007 tentang Pembagian Urusan Pemerintahan antara Pemerintah Pusat, Pemerintah Daerah Provinsi dan Pemerintah Daerah Kabupaten/Kota dan Peraturan Pemerintah No. 41 tahun 2007 tentang Organisasi Perangkat Daerah menetapkan perubahan Struktur Organisasi dan Tata Kerja. Peraturan Daerah No. 7 tahun 2008 tanggal 6 Juni 2008 tentang pembentukan, kedudukan, tugas pokok, fungsi dan susunan organisasi menetapkan penggabungan Badan Arsip dengan Perpustakaan Daerah Provinsi Jawa Tengah, dengan sebutan baru Badan Arsip dan Perpustakaan Provinsi Jawa Tengah.Peraturan Gubernur Jawa Tengah No. 54 tahun 2008 tanggal 20 Juni 2008 tentang Pembentukan Perpustakaan Daerah Provinsi Jawa Tengah menetapkan bahwa Perpusda merupakan Unit Pelayanan Teknis (UPT) Badan Arsip dan Perpusatkaan Provinsi Jawa Tengah. Peraturan Gubernur Jawa Tengah Nomor 101 Tahun 2016 Tentang Oraganisasi Dan Tata Kerja Unit Pelaksana Teknis (UPT) Tanggal 27 Desember 2016 menjadi Unit Pelaksana Teknis (UPT) Dinas Kaersipan Dan Perpustakaan Provinsi Jawa Tengah.