Сведений о жизни учёного сохранилось крайне мало. Значительный период своей жизни он провёл в Багдаде, возглавляя при халифе ал-Мамуне (813—833) библиотеку «Дома мудрости». В это же время там работали ал-Марвази, ал-Фаргани, Ибн Турк, ал-Кинди и другие выдающиеся учёные. В 827 году ал-Хорезми принимал участие в измерении длины градуса земного меридиана на равнине Синджара. При халифе ал-Васике (842—847) ал-Хорезми возглавлял экспедицию к хазарам. Последнее упоминание о нём относится к 847 году.