Dari kota inilah ia meniti karier politiknya sebagai pejabat penting pemerintahan, ia dipercaya menjadi gubernur di Hijaz, yakni Makkah dan Madinah. Meskipun kariernya berjalan lancar tanpa cacat, ia mendapat fitnah dari Hajjaj bin Yusuf yang menuduhnya melindungi pemberontak yang berasal dari Iraq. Umar bin Abdul Aziz akhirnya dipecat.
Pemecatan tersebut tidak diambil pusing oleh Umar bin Abdul Aziz. Dirinya tidak sama sekali memiliki ambisi sebagai pemimpin.
Pengangkatan Umar bin Abdul Aziz sebagai Khalifah
Mengutip kembali dari buku yang sama, sebelum wafat, Sulaiman bin Abdul Malik telah menunjuk sepupunya, Umar bin Abdul Aziz, sebagai Khalifah Bani Umayyah. Penunjukkan Umar bin Abdul Aziz dilakukan setelah Sulaiman melakukan diskusi dengan para penasihatnya.
Setelah menjadi khalifah, Umar bin Abdul Aziz merubah seluruh sikap dan gaya hidupnya. Hal ini disebabkan oleh perasaan sedihnya memikirkan masih banyak masyarakat yang miskin dan kelaparan, orang-orang yang sakit, orang-orang yang tertindas dan teraniaya.
Umar bin Abdul Aziz dikenal sebagai seseorang yang menyukai kemewahan dan musik. Tetapi, setelah menjadi khalifah, semua hal itu ditinggalkan, memilih hidup sederhana bahkan harta miliknya dipergunakan untuk kepentingan masyarakat umum.
