Organisasi Kastam tertubuh secara menyeluruh sebagai Jabatan Perseketuan apabila semua Negeri-Negeri Bersekutu, Negeri-Negeri Tidak Bersekutu dan Negeri-Negeri Selat bergabung menjadi Persekutuan Tanah Melayu pada tahun 1948. Sejarah percukaian tanahair bagaimanapun telah bermula lama sebelum itu. Kedua Gagasan Malaysia menjadi kenyataan menjadikan Jabatan Kastam Diraja meluas meliputi Sabah dan Sarawak serta dianugerahkan status "Diraja" pada 29.10.1963.

Dengan berkembangnya peranan Jabatan terhadap pungutan hasil negara melalui perindustrian dan percukaian dalam negeri, sebuah bangunan konkrit dua tingkat telah didirikan pada tahun 1977 bersebelahan Gudang Kastam yang sedia ada di mana ditempatkan semua kakitangan termasuk Bahagian Cukai Dalaman, Pentadbiran Am dan Kewangan. Apabila Terminal Kargo Ipoh, (I.C.T.) di Jalan St. John ditubuhkan, kakitangan bahagian Cukai Dalaman serta Bahagian Pentadbiran Am dan Kewangan telah berpindah ke pejabat baru di bangunan Wisma Maju UMNO, Jalan Sultan Idris Shah.

Kakitangan-kakitangan itu mula berpindah dalam bulan Disember 1988, tetapi hanya tinggal di Wisma Maju UMNO sehingga Februari 1990 dimana mereka pula berpindah ke bangunan Seri Kinta di Jalan Sultan Idris Shah. Kedua-dua tempat ini telah disewa oleh Jabatan. Dalam tahun 1992, Jabatan telah membeli dan memiliki sebidang tanah seluas 2.2. ekar yang mengandungi dua lot berasingan. Terdapat lima bangunan yang telah tersedia iaitu sebuah bilik pameran Zaman Motor, sebuah 'workshop Motor' EON, sebuah 'workshop B-Trak Sdn. Bhd, sebuah 'workshop Wira Motor' dan sebuah pejabat Borneo Company. Empat dari Bangunan ini telah dibaikpulih untuk menjadikannya sebuah Kompleks Pejabat-Pejabat Kastam Ipoh yang mula diduduki oleh kakitangan Kastam Ipoh pada 30.6.1994.

Mulai Julai 2001 kakitangan Jabatan Kastam Diraja Malaysia, Negeri Perak telah berpindah ke Wisma Kastam yang baru siap dibina pada Mei 2001 dan dirasmikan Oleh DYMM Paduka Seri Sultan Perak pada 11 Jun 2002