У истоков группировки, которая позже трансформировалась в ИГИЛ, стоял Абу Мусаб аз-Заркави. Рожденный в 1966 году, в молодости он вел борьбу против Советской армии в Афганистане. После возвращения в Иорданию занимался деятельностью, направленной против существующего в стране режима, за что с 1992 года подвергся семилетнему заключению.

В 1999 году, сразу же после выхода на свободу, аз-Закрави создал исламистскую организацию салафитского толка, которая приняла название «Единобожие и джихад». Первоначальной целью этой группировки было свержение королевской династии в Иордании, которая, по мнению аз-Закрави, проводила антиисламскую политику. Именно данная организация составляла фундамент, на основе которого в будущем сформировалось «государство» ИГИЛ.

После начала американской операции в Ираке в 2001 году представители организации «Единобожие и джихад» развернули активную деятельность на территории страны. Считается, что аз-Заркави стал в это время одним из организаторов и другой крупной группировки «Ансар аль-Ислам». Она действовала главным образом в Иракском Курдистане и в суннитских регионах Ирака. Формальным ее лидером считается Фараж Ахмад Нажмуддин, находящийся в норвежской тюрьме и руководящий оттуда деятельностью «Ансар аль-Ислама».

С 2003 по 2008 год группировка приняла название «Джамаат Ансар ас-Сунна», но затем вернулась к своему прошлому наименованию. После интервенции союзнических сил в Ирак в 2003 году множество ее бойцов вступили в ряды организации «Единобожие и джихад». В настоящее время «Ансар аль-Ислам» является одним из основных союзников ИГИЛа