Omar Khayyam menghasilkan karya Aljabr (Algebra), yang kemudian diedit dan diterjemahkan dalam bahasa Prancis. Ia adalah orang pertama yang mengklasifikasikan persamaan tingkat satu (persamaan linier) dan memikirkan pemecahan masalah persamaan pangkat tiga secara ilmiah.
Selain itu, ia juga mengenalkan sebuah persamaan parsial untuk ilmu aljabar dan geometri. Ia membuktikan suatu masalah geometri tertentu dapat diselesaikan dengan sejumlah fungsi aljabar.
Pada abad XVX dan XVII, persamaan semacam ini justru banyak digunakan oleh para ahli matematika Eropa. Omar Khayyam mendahului para ahli matematika Barat.
Di kota Samarkand lah baru kemudian Omar menyelesaikan Risalah fiʾl-Barahin yang membuat namanya menjulang di dalam dunia matematika. Di dalam risalah ini dia menemukan cara untuk memperluas hasil karya Abu al-Wafa pada ekstraksi pangkat tiga dan akar keempat ke ekstraksi akar bilangan ke-n untuk bilangan bulat arbitrer n.
Melalui karyanya ini Omar Khayyam menjadi terkenal pada masa itu, sehingga membuat Sultan Seljuk Malik-Shah ingin mengundangnya ke istananya di Isfahan (sekarang di Iran). Malik-Shah kemudian memintanya untuk melakukan pengamatan astronomi yang diperlukan untuk perbaikan sistem kalender.
