Rizem Aizid dalam bukunya yang berjudul The Great Sahaba menuliskan bahwa saat Rasulullah SAW memerintahkan kaum muslim berhijrah ke Madinah, Abu Ubaidah turut melaksanakan hijrah tersebut.
Di Madinah, ia ikut membangun masyarakat Islam bersama Rasulullah SAW. Kehidupannya sangat sederhana. Meski memiliki kedudukan tinggi di tengah kaum muslim, ia tidak pernah hidup bermewah-mewahan.
Kejujuran dan amanah Abu Ubaidah membuat Rasulullah SAW memberikan gelar yang sangat istimewa.
Beliau bersabda, “Sesungguhnya setiap umat memiliki seorang yang terpercaya. Orang yang paling terpercaya di kalangan umat ini adalah Abu Ubaidah bin Al-Jarrah.” (HR Bukhari dan Muslim)
Gelar tersebut menunjukkan betapa tingginya kepercayaan Rasulullah SAW kepada Abu Ubaidah.
Rasulullah SAW juga pernah mengatakan bahwa Abu Ubaidah adalah sosok yang ia cintai sebagai sahabat.
Diriwayatkan dari Amr bin Al-Ash, ia berkata, “Rasulullah SAW pernah ditanya, ‘Siapakah orang yang lebih engkau cintai?’ Beliau menjawab, ‘Aisyah.’ Kemudian ditanyakan lagi, ‘Siapa yang engkau cintai dari golongan laki-laki?’ Beliau menjawab, ‘Abu Bakar.’ Lalu ditanyakan lagi, ‘Kemudian siapa?’ Beliau menjawab, ‘Abu Ubaidah bin Al Jarrah.’”
Abu Ubaidah juga memiliki akhlak mulia dan tawadhu. Umar bin Khattab RA pernah berkata bahwa ia sangat mendambakan sebuah rumah yang dipenuhi orang-orang seperti Abu Ubaidah.
