Masjid Al-Wahab dibangun pada tahun 1789 Masehi, tak lepas dari tonggak sejarah masuknya dan perkembangan agama Islam di kota Bontang yang didirikan pada masa pemerintahan kejayaan Kesultanan Kutai Ing Martadipura yang berpusat di Tenggarong. Masjid ini didirikan setelah sejumlah perantau dari Suku Bajau, Bugis dan Kutai menemukan lahan yang tepat untuk bercocok tanam. 

Kesultanan Kutai Ing Martadipura kala itu juga memberikan tanah kepada para perantau ini untuk mengelola lahan. Karena kebanyakan perantau ini adalah muslim mereka kemudian mendirikan masjid persis di sisi Sungai Api-api yang bermuara ke Selat Makassar. Sungai ini dulunya lebar dan dalam, airnya juga jernih.

Bangunan masjid ini seluruhnya terbuat dari kayu ulin dengan perpaduan arsitektur yang berasal dari beberapa daerah seperti Bugis, Demak, Banjar, dan Kutai. Perpaduan arsitektur tersebut diyakini lantaran masjid dibangun oleh para perantau dari beragam suku. Perpaduan ini juga menjadi simbol keragaman suku yang disatukan dalam Islam.