Keluarga Muhammad al-Fihri tidak sendirian. Pada waktu itu, tahun 818 H, terjadi pemberontakan terhadap penguasa setempat Qairouan, yaitu Aghlabid.
Aghlabid adalah penguasa lokal Qairouan yang ditempatkan oleh Dinasti Abbasiyah dari pusat pemerintahan di Baghdad. Usaha untuk menggulingkan keluarga Aghlabid gagal, dan setelah pemberontakan itu Aghlabid merespon dengan mengusir 2000 keluarga dari Qairouan, termasuk salah satunya adalah keluarga Fatimah. Banyak dari pengungsi tersebut diterima di Fes, Maroko.
Pada waktu itu Maroko baru saja berganti penguasa. Dinasti yang baru saja berkuasa pada waktu itu adalah Bani Idrisiyah, mereka berasal dari kelompok Syiah.
Karena pada waktu itu pertarungan kekuasaan antara Sunni dan Syiah sedang bergejolak di Semenanjung Arab, Bani Idris lebih memilih untuk pergi keluar dan mengukuhkan dinastinya jauh di Barat Laut Afrika.
Fes, salah satu kota di Maroko—sebagaimana kampung halaman Fatimah—adalah kota yang baru saja berdiri. Pembangunan Kota Fes dibagi ke dalam dua tahap, pertama, pada tahun 789 oleh Idris I, dan kedua, pada tahun 808 oleh Idris II, putra dari Idris I sekaligus pewaris tahta kekuasaan.
Ketika Idris II menjadikan Fes sebagai pusat kota Maroko, masa depan kesejahteraan penduduk kota sudah dapat dipastikan.
