Sekitar tahun 301 sebelum Masehi, seorang Ahli bumi Yunani, Ptolomacus berlayar ke arah timur dan berlabuh di sebuah pulau tak terkenal di mulut selat Malaka, pulah Weh! Kemudian dia menyebut dan memperkenalkan pulau tersebut sebagai Pulau Emas di peta para pelaut.
Pada abad ke 12, Sinbad mengadakan pelayaran dari Sohar, Oman, jauh mengarungi melalui rute Maldives, Pulau Kalkit (India), Sri Langka, Andaman, Nias, Weh, Penang, dan Canton (China). Sinbad berlabuh di pulau Weh dan menamainya Pulau Emas.
Pedagang Arab yang berlayar sampai ke pulau Web menamakannya Shabag yang berarti Gunung meletus. Mungkin dari sinilah kata Sabang berasal, dari Shabag. Dari sumber lain dikatakan bahwa nama pulau Weh berasal dari bahasa Aceh yang berarti terpisah. Pulau ini pernah dipakai oleh Sultan Aceh untuk mengasingkan orang-orang buangan.
Yang paling penting bagi sejarah Weh adalah sejak adanya pelabuhan di Sabang. Sekitar tahun 1900, Sabang adalah sebuah desa nelayan dengan pelabuhan dan iklim yang baik. Kemudian belanda membangun depot batubara di sana, pelabuhan diperdalam, mendayagunakan dataran, sehingga tempat yang bisa menampung 25.000 ton batubara telah terbangun. Kapal Uap, kapal laut yang digerakkan oleh batubara, dari banyak negara, singgah untuk mengambil batubara, air segar dan fasilitas-fasilitas yang ada lainnya. Sebelum Perang Dunia II, pelabuhan Sabang sangat penting dibanding Singapura. Di saat Kapal laut bertenaga diesel digunakan, maka Singapura menjadi lebih dibutuhkan, dan Sabang pun mulai dilupakan.
Pada tahun 1970, pemerintahan Republik Indonesia merencanakan untuk mengembangkan Sabang di berbagai aspek, termasuk perikanan, industri, perdagangan dan lainnya. Pelabuhan Sabang sendiri akhirnya menjadi pelabuhan bebas dan menjadi salah satu pelabuhan terpenting di Indonesia. Tetapi akhirnya ditutup pada tahun 1986. Walaupun dulunya Sabang sangat ramai, kini kembali menjadi kota nelayan yang sepi.