Sejak Belanda menyerbu dan membumihanguskan Tidore, pada 1806 Hajuddin bersama 3000 pengikutnya dari Halmahera Timur dan Tobelo-Tai berpindah-pindah tempat karena dikejar Belanda. Akhirnya Hajuddin beserta pengikutnya mendirikan koloni mereka di Seram Pasir. Dikalangan pengikutnya, Hajuddin dikenal sebagai Sultan Jailolo III yang berkuasa di Seram Pasir.Hingga 1821, jumlah pengungsi yang berada di Seram Pasir telah mencapai 7000 orang.
Para pengungsi ini tidak hanya berasal dari Halmahera Timur, tetapi juga dari Halmahera Utara Tobelo, Kao serta Galela – dan Papua yang mendukung Hajuddin, termasuk pribumi Seram Pasir dan sekitarnya, seperti penduduk Negeri Lisabata, Hative serta Seram Timur. Para pendatang baru di Seram Pasir itu adalah orang-orang yang melarikan diri dari kejaran pasukan Sultan Muhammad Tahir, yang sejak 1810 berkuasa sebagai Sultan Tidore ke-21. Para pendatang ini dipimpin oleh Sangaji Rubacola dan Kapita Laut Naimuddin dari Weda.
Dengan semakin bertambah jumlah pengikutnya, Hajuddin merasa perlu mendapatkan legitimasi atas kekuasaannya dari Pemerintah Belanda. Ia menyurati Gubernur Ambon dan meminta pengertian baiknya mengenai masyarakat Halmahera di Seram Pasir, dan agar ia diizinkan membentuk sebuah kerajaan di Halmahera untuk mengatur pengikutnya. Upaya Hajuddin gagal, bahkan membuatnya makin diburu. Belanda menganjurkan rakyat agar tidak berhubungan dengan Sultan Jailolo III yang telah dinyatakan sebagai penjahat, dan menjanjikan hadiah bagi siapa saja yang dapat menangkapnya hidup atau mati.
