Kota Sibolga dahulunya merupakan Bandar kecil di Teluk Tapian Nauli dan terletak di Poncan Ketek. Pulau kecil ini letaknya tidak jauh dari kota Sibolga yang sekarang ini. Diperkirakan Bandar tersebut berdiri sekitar abad delapan belas dan sebagai penguasa adalah “Datuk Bandar”.
Kemudian pada zaman pemerintahan kolonial Belanda, pada abad sembilan belas didirikan Bandar Baru yaitu Kota Sibolga yang sekarang, karena Bandar di Pulau Poncan Ketek dianggap tidak akan dapat berkembang. Disamping pulaunya terlalu kecil juga tidak memungkinkan menjadi Kota Pelabuhan yang fungsinya bukan saja sebagai tempat bongkar muat barang tetapi juga akan berkembang sebagai Kota Perdagangan. Akhirnya Bandar Pulau Poncan Ketek mati bahkan bekas-bekasnya pun tidak terlihat saat ini. Sebaliknya Bandar Baru yaitu Kota Sibolga yang sekarang berkembang pesat menjadi Kota Pelabuhan dan Perdagangan.
Pada zaman awal kemerdekaan Republik Indonesia Kota Sibolga menjadi ibukota Keresidenan Tapanuli di bawah pimpinan seorang Residen dan membawahi beberapa “Luka atau Bupati”. Pada zaman revolusi fisik Sibolga juga menjadi tempat kedudukan Gubernur Militer Wilayah Tapanuli dan Sumatera Timur Bagian Selatan, kemudian dengan dikeluarkannya surat keputusan Gubernur Sumatera Utara Nomor: 102 Tanggal 17 Mei 1946, Sibolga menjadi Daerah Otonom tingkat “D” yang luas wilayahnya ditetapkan dengan Surat Keputusan Residen Tapanuli Nomor: 999 tanggal 19 November 1946 yaitu Daerah Kota Sibolga yang sekarang. Sedang desa-desa sekitarnya yang sebelumnya masuk wilayah Sibolga On Omne Landen menjadi atau masuk Daerah Kabupaten Tapanuli Tengah.
Dengan dikeluarkannya Undang-Undang Nomor 8 Tahun 1956 Sibolga ditetapkan menjadi Daerah Swatantra Tingkat II dengan nama Kotapraja Sibolga yang dipimpin oleh seorang Walikota dan daerah wilayahnya sama dengan Surat Keputusan Residen Tapanuli Nomor: 999 tanggal 19 November 1946.
Selanjutnya dengan Undang-Undang Nomor: 18 tahun 1956 Daerah Swatantra Tingkat II Kotapraja Sibolga diganti sebutannya menjadi Daerah Tingkat II Kota Sibolga yang pengaturannya selanjutnya ditentukan oleh Undang-Undang Nomor 5 Tahun 1974 tentang Pokok-Pokok Pemerintahan Daerah yang dipimpin oleh Walikota sebagai Kepala Daerah. Kemudian hingga sekarang Sibolga merupakan Daerah Otonom Tingkat II yang dipimpin oleh Walikota Kepala Daerah.
Kemudian dengan dikeluarkannya Peraturan Pemerintah Nomor: 19 Tahun 1979 tentang pola dasar Pembangunan Daerah Sumatera Utara, Sibolga ditetapkan Pusat Pembangunan Wilayah I Pantai Barat Sumatera Utara. Perkembangan terakhir yaitu dengan dikeluarkannya Peraturan Pemerintah Daerah Nomor: 4 Tahun 2001, tentang Pembentukan Organisasi Kantor Kecamatan, Sibolga dibagi menjadi 4 (empat) Kecamatan, yaitu: Kecamatan Sibolga Utara, Kecamatan Sibolga Kota, Kecamatan Sibolga Selatan, dan Kecamatan Sibolga Sambas.