Cikal bakal Politeknik Negeri Madura adalah Politeknik Madura yang digagas oleh Yayasan Bina Sampang Mandiri (BSM). Atas gagasan dari team pemerkarsa yang diketuai oleh Ir. M. Syaifurrahman Noer, putra H.M. Noer (Alm) mantan gubenur Jawa Timur. Hal ini disambut antusias oleh bupati sampan saat itu H. Noer Tjahja, dan untuk selanjutnya yayasan BSM bekerja sama dengan pemkab Sampang merealisasikan gagasan tersebut dan sepakat untuk memberi nama Politeknik Madura (POLTERA)

Menteri Pendidikan dan Kebudayaan Republik Indonesia Prof. Ir. H. Mohammad Nuh, DEA., memberikan respon yang luar biasa atas permohonan pendirian Politeknik Madura. Pada kunjungan beliau menyatakan bahwa Politeknik ini langsung menjadi Politeknik Negeri, sehingga namanya menjadi Politeknik Negeri Madura (POLTERA). Ini merupakan bukti keseriusan pihak Kementerian Pendidikan dan Kebudayaan Republik Indonesia saat itu dalam mengembangkan pendidikan di wilayah Madura. Pembangunan gedung POLTERA sudah dimulai pada tahun 2012 dengan luas lahan 10 Hektar dengan peletakan batu pertama dilaksanakan pada tanggal 11 Nopember 2012. Pendirian POLTERA ini bertujuan untuk memenuhi kebutuhan SDM yang berkualitas di bidang teknologi kemaritiman, serta mampu bersaing secara nasional maupun internasional.