Iced Earth grubunu 20 Ocak 1985?de, Jon Schaffer okul arkadaşlarıyla birlikte kurdu. Topluluğun ilk ismi Purgatory'ydi. Bill Blackmanın ölümü Jon'u çok sarstı ve ölümünün 6. yılında Blackman?in eşyalarıyla işe koyulmaya karar verdiler. Jon çok iyi gitar çalamıyordu ve bu yönünü geliştirmekte kararlıydı. Yitirdiği arkadaşı için bir şeyler yapmak istiyordu. 1985 yılında "Burning Oasis", 1986 yılında da "Psychotic Dreams" ve "Horror Show" demoları yayınladılar. Bu demolardaki tarz, 80li yılların thrash ve heavy metalini anımsatıyordu. 

Daha sonra grup elemanları arasında grubun isminin değişmesi üzerinde tartışmalar başladı. Jon Schaffer da ölen arkadaşının onuruna grubun yeni adını "Iced Earth" diye duyurmuştu. 1988 yılında "Enter The Realm" demosu hazırlandı. Tom Morris bu demo üzerinde Jon?a yardımlarda bulunmuştu. Çalışma, Avrupa underground piyasası ve magazinlerinin favorisi olmuştu ve Rock Hard yılın en iyi demosu olarak "Enter The Realm"ı belirlemişti. Enter The Realmın elde ettiği başarıdan sonra Century Media şirketi ile sözleşme imzaladılar. Grubun kadrosu Jon Schaffer (Gitar-Vokal), Randy Shawver (Lead Gitar), Gene Adam (Vokal), Dave Abell (Bas) ve Mike McGill (Davul) şeklindeydi. 

1991 de "Iced Earth" albümü yayınlandı. Bu zamana kadar diğer büyük gruplardan aldıkları fikirleri iade ettiler ve kendi temellerini oturtular... Müzik oldukça ağır, hızlı, karanlık, melodik ve karmaşıktı. Schaffer gerçekten de kendisini çok geliştirmiş, iyi ritm tutmaya başlamıştı. Yeni albüm çalışmalarına başlayan grup, eleman değişiklikleri yaşadı, Gene Adam ve Mike McGill gruptan ayrılarak vokale John Greely, davula da Richey Secchiari geldi. 1992 yılında mistik ve korkunç hikayeleri barındıran 2. albüm "Night Of The Stormrider" çıkarıldı. Taraftarların Jon'a verdikleri ilham karşısında Jon, yeni albümde hem liriksel hem de müzikal bir gelişme göstermiştir. Ve Jon müzik kariyerinin en büyük epik eserlerinden birine bu albümde "Travel In Stygian" parçası ile imza atmıştır. 

"Night Of The Stormrider" albümü sonrasında, grup, albüm çıkarmak açısından müzik piyasasından uzun bir süre uzak kaldı. Jon ve arkadaşları kırık dökük grup arabasıyla turlar düzenleyerek konserler veriyorlardı. Almanyada iken grup arabası bozulmuştu. Bu aksaklıklar devam etti ve onları etkileyen, Jon?un moralini bozan bir çok şey oldu. Bunların sonucunda uzun bir süre albüm yapılamadı. Ancak aradan 3 yıl geçti ve 1995 yılında "Burnt Offerings" albümü raflardaki yerini aldı. 

Grup zaman geçirmeden 1996 yılında "The Dark Saga" albümünü çıkardı. Bu çalışma, öncekilere göre daha karanlık, melodik, hareketli ve sadeydi. Müzik gerçekten de çok güçlüydü ve davul daha hızlı çalıyordu. Albüm sonrasında grup turlara çıkmış, tur esnasında Jon boynundan sakatlanmış, günlerce bandaj kullanmak zorunda kalmıştır. Sonrasında ameliyat olan Jonun bu sorunu hala devam etmektedir. 1997 yılına gelindiğinde farklı formatta bir albümün çıktığını görüyoruz. "Days of Purgatory" albümü ile grup, 1986 ve 1994 yılları arasındaki çalışmalarını yeniden düzenleyerek piyasaya sürmüştür. En önemlisi, daha önce Purgatory adı ile çıkarmış oldukları ve herhangi bir şirketten yayınlanmayan demolarındaki parçalar da tekrar şekillendirilmiş ve bu parçaları Matthew Barlow söylemiştir. Eski parçalar her açıdan gözden geçirilmiş, daha kaliteli bir format ve şekilde müzikseverlere sunulmuştur. 

Albümün ismi olan "Days Of Purgatory", grubun uzun yıllar çektiği eziyetleri ve ödediği bedelleri yanısıtıp şu an hangi noktada olduklarını hatırlatması açısından manevi bir etkiydi. 1999 yılında sadece ABD için "The Melancholy" EPsi çıkmış ve 2 yıl sonra da Avrupa?da yayınlanmıştır. ABD için basılan EPde Melancholy? , Watching Over Me , I Died For You, Bad Company grubundan Shooting Star ve Black Sabbath grubundan da Electric Funeral? coverı yer alıyordu. 2001 yılında Avrupa için çıkarılan EP?de de bu parçalara ek olarak, Colors parçasının canlı formatı ve Judas Priestden The Ripper coverı yer alıyordu.

Son albüm de 2001 yılında "Horror Show" adı ile gelmişti ve grubun bu seferki görüntüsü korku öğeleri üzerineydi. Çocukluklarının korku öğelerini yansıtan unsurlara yer vermişlerdi. Bunun yanında Spawn çizgi romanının çizeri Danny Miki ile Jag Panzer ve Opeth gibi gruplara albüm kapağı yapan Travis Smith gruba zengin detaylar sunmuşlar, şarkı sözlerinde de katkılarda bulunmuşlardır. Grup bu öğelerle bir çok hayranın çocukluk kabuslarına, korku öğelerine yer vermiş, bu konuda attığı adımla adeta çığır açmıştır.

2005 yılında Tim 'Ripper' Owens ve birkaç arkadaşı Beyond Fear isimli yeni bir heavy metal grubu kurdular.

11 Aralık 2007'de Matt Barlow gruba sürpriz bir şekilde geri döndü. Tim 'Ripper' Owens ise ise bilinenin aksine yaptığı performanslardan değil Schaffer'ın ricası üzerine gruptan ayrılmıştır. Owens, grubu Framing Armageddon döneminde muhteşem bir başarıya ulaştırmıştır. Ancak Owens'ın bu şekilde gruptan ayrılmasını protesto eden basçı Dennis Hayes'te Schaffer'in hışmına uğrayarak gruptan atılmış ve Hayes'in ismi grubun bibliyografi ve diskografisinden de çıkarılmıştır.Bütün bu gelişmelerden sonra grubun bass gitarist açığını kapatmak üzere arayışlara giren grup lideri Schaffer, menejerlik şirketleriyle yaptığı bağlantılarla pek bi sonuç alamadı... Çünkü geçmişte gruptan ayrılan herkes Schaffer hakkında pek iyi konuşmalar yapmamıştı. Bu sebeple grubun resmi sitesinde ilan verilerek bass gitarist aranmaya başlandı...

12 Mart 2008 tarihinde grubun resmi açıklaması ile Freddie Vidales grubun bass gitaristi oldu... Jon Schaffer yeni elemanı ile ilgili olarak; 'Kendisini seyretmeye gittiğimde müzisyenlik performansı ve sahne enerjisi olarak istediğimi gördüm ve arayışlara devam etmenin bir mantığı olmadığını düşünerek Freddie ile anlaştım' demektedir.

6 Mayıs 2013 tarihinde Iced Earth resmi sitesinden grubun bateristi Brent Smedley'in kişisel sebeplerden dolayı ayrıldığı duyuruldu. Gruba İtalyan kökenli Chaoswave'in bateristi Raphael Saini dahil olmuştur..

Ayrıca Iced Earth, 2013 yılının ekim ayında piyasaya sürülmesi planlanan Plagues of Babylon adlı albümün çalışmalarına başlamıştır.