Peristiwa pembunuhan terhadap Khalifah Utsman bin Affan mengakibatkan kegentingan di seluruh dunia Islam yang waktu itu sudah membentang sampai ke Persia dan Afrika Utara. Pemberontak yang waktu itu menguasai Madinah tidak mempunyai pilihan lain selain Ali bin Abi Thalib sebagai khalifah, waktu itu Ali berusaha menolak, tetapi Zubair bin Awwam dan Talhah bin Ubaidillah memaksa beliau, sehingga akhirnya Ali menerima bai'at mereka. Menjadikan Ali satu-satunya Khalifah yang dibai'at secara massal, karena khalifah sebelumnya dipilih melalui cara yang berbeda-beda.
Sebagai Khalifah ke-4 yang memerintah selama sekitar 5 tahun. Masa pemerintahannya mewarisi kekacauan yang terjadi saat masa pemerintah Khalifah sebelumnya, Utsman bin Affan. Untuk pertama kalinya perang saudara antara umat Muslim terjadi saat masa pemerintahannya, Perang Jamal. 20.000 pasukan pimpinan Ali melawan 30.000 pasukan pimpinan Zubair bin Awwam, Talhah bin Ubaidillah, dan Ummul mu'minin Aisyah binti Abu Bakar, janda Rasulullah. Perang tersebut dimenangkan oleh pihak Ali.
Peristiwa pembunuhan Khalifah Utsman bin Affan yang menurut berbagai kalangan waktu itu kurang dapat diselesaikan karena fitnah yang sudah terlanjur meluas dan sudah diisyaratkan (akan terjadi) oleh Nabi Muhammad SAW ketika beliau masih hidup, dan diperparah oleh hasutan-hasutan para pembangkang yang ada sejak zaman Utsman bin Affan, menyebabkan perpecahan di kalangan kaum muslim sehingga menyebabkan perang tersebut. Tidak hanya selesai di situ, konflik berkepanjangan terjadi hingga akhir pemerintahannya. Perang Shiffin yang melemahkan kekhalifannya juga berawal dari masalah tersebut.
Ali bin Abi Thalib, seseorang yang memiliki kecakapan dalam bidang militer dan strategi perang, mengalami kesulitan dalam administrasi negara karena kekacauan luar biasa yang ditinggalkan pemerintahan sebelumya. Ia meninggal di usia 63 tahun karena pembunuhan oleh Abdrrahman bin Muljam, seseorang yang berasal dari golongan Khawarij (pembangkang) saat mengimami salat subuh di masjid Kufah, pada tanggal 19 Ramadhan, dan Ali menghembuskan nafas terakhirnya pada tanggal 21 Ramadhan tahun 40 Hijriyah. Ali dikuburkan secara rahasia di Najaf, bahkan ada beberapa riwayat yang menyatakan bahwa ia dikubur di tempat lain.
