“Bolehlah engkau menjadi komandan pasukanmu, tapi Abu Ubaidah tetap menjadi komandan pasukan Muhajirin,”
Amr lalu membantah, “Kalian adalah bala bantuan yang kuminta,”
Di tengah ketegangan itu, Abu Ubaidah menenghi mereka seraya berkata,
“Wahai Amr, harap engkau ketahui bahwa Rasulullah SAW berpesan kepadaku, ‘Jika engkau sudah bertemu rekanmu, hendaklah kalian saling mematuhi.’ Kalau memang engkau tidak mau patuh padaku, akulah yang akan patuh kepadamu,”
Selanjutnya, Abu Ubaidah menyerahkan kepemimpinan kepada Amr bin Ash. Sosok Abu Ubaidah yang lembut itu menandakan dirinya bijak dan tidak egois.
Abu Ubaidah wafat karena sakit kolera. Diterangkan dalam buku 125 Sahabat Nabi Muhammad oleh Mahmudah Mastur, ketika terjadi penaklukan negeri Syam, Abu Ubaidah juga ditujuk sebagai pemimpin.
Di sana, ia menetap cukup lama sebelum akhirnya wabah kolera merebak. Umar bin Khattab memerintahkannya untuk segera keluar dari sana, tapi Abu Ubaidah mengirim surat kepada Umar yang berisi:
“Wahai Umar, aku tidak ingin memikirkan diriku sendiri, sementara banyak orang lain yang tertimpa penyakit. Aku tidak ingin meninggalkan mereka sampai Allah putuskan perkara ini,”
Umar bin Khattab menangis membaca surat dari Abu Ubaidah. Setelahnya, ia meninggal dunia akibat kolera yang dideritanya.