Pada masa pemerintahan para khalifah pertama, Ibnu Umar tidak memegang jabatan politik maupun administratif, meskipun tetap aktif dalam berbagai ekspedisi militer. Setelah wafatnya Rasulullah, pada masa kekhalifahan Abu Bakar ia tergabung dalam pasukan Usamah.
Kemudian pada masa kepemimpinan ayahnya, Umar bin Khattab, ia sempat menjadi penasihat dalam dewan syura yang bertugas menentukan khalifah berikutnya, namun dilarang mencalonkan diri.
Ia juga turut serta dalam sejumlah pertempuran besar seperti Nahawand dan pembebasan Mesir.
Meskipun pernah ditawari menjadi hakim pada masa khalifah Utsman bin Affan, ia menolak dengan rendah hati seraya berkata, “Aku bersama dengan orang yang lebih pandai dariku. Jika aku tahu kalian menginginkan aku menjadi hakim dan bertanya padaku mengenai beragam masalah, maka aku sendiri akan belajar.”
Bahkan ketika sebagian orang, termasuk Marwan bin Hakim, menyarankannya menjadi khalifah, ia tetap menolak dan menyatakan tidak akan menerima kekuasaan meski hanya sedikit pihak yang menentangnya.
Pada masa kekhalifahan Ali bin Abi Talib, Ibnu Umar memilih bersikap netral dalam konflik politik yang terjadi. Ketika Ammar Yasir meminta izin untuk mengambil baiat darinya, ia tidak memberikan baiat dan lebih memilih fokus pada ibadah pribadi, meskipun tidak pula bergabung dengan pihak yang memusuhi Ali.
