Modern Gümrü'nün günümüzde bulunduğu konumdaki en eski yerleşim biriminin, Yunan Kolonistler tarafından MÖ 5. yüzyılda kurulduğu düşünülmektedir. Bir başka görüşe göreyse şehir, Kimmerler tarafından MÖ 6. yüzyılda kurulmuştur. Sonra sırasıyla Persler'in, Makedonlar'ın, Romalılar'ın ve Bizanslılar'ın yönetimi altına giren şehir, MS 11. yüzyılda Selçuklular'ın egemenliğine katılmıştır. 24 Aralık 1638'de imzalanan Kasr-ı Şirin Antlaşması'yla da İran'ın yönetimine geçmiştir.
Bilinen ilk ismi Kumayri veya Gyumri'dir. 1840-1924 arasında Alexandropol ve Rus Komünist Devrimi'nden sonra (1924-1990) Leninakan olarak adlandırılan şehir, Sovyetler Birliği'nin dağılmasından sonra Gyumri (Gümrü) ismini geri almıştır. Kurtuluş Savaşı yıllarındaki Türkiye-Sovyet Ermenistan Savaşı ve onu izleyen barış antlaşması 3 Aralık 1920'de bu kentte imzalanmıştır.