Pabian secara harfiah berasal dari suku kata bea, yang di ambil dari bahasa Sansekerta "vyaya", artinya ongkos.

Munculnya derah Pabean, tak lepas dari peran pejabat yang ditunjuk oleh suatu kerajaan ataupun pemerintah kolonial yang ditugaskan untuk memungut pajak barang yang keluar atau masuk suatu wilayah.

Di Sumenep, pabian terletak diantara dua wilyah penting, yakni Pusat Kota Sumeneo dan Kalianget. Pada masanya keuda wulayah tersebut memiliki fungsi yang sangaat strategis, terutama dalam bidang pemerintahan dan perdagangan.

Akhir abad ke-19 didirikan kediaman Asisten Residen Sumenep yang terletak di Kawasan Panglegur, Desa Pabian saat ini. Menyusul kemudian kantor Pos, Rumah Gadai, Penjara dan Pengadilan.

Bangunan-bangunan tersebut ditata dan dibangun disekeliling tanah lapang yang kemudian di kenal sebagai alun-alun panglegur.

Alun-alun panglegur kerap dimanfaatkan sebagai arena perlombaan olahraga, seperti sepak bola dan pacuan kuda.