Il gruppo fu fondato dai fratelli Amott dopo che Michael Amott lasciò i Carcass. l primo disco, intitolato Black Earth, venne pubblicato dalla ora defunta Wrong Again Records nel 1996. Il disco ricevette un buon successo in Giappone ed in Europa. Il gruppo era però poco più che un progetto solista per Michael Amott, che scrisse tutte le canzoni e incise anche le parti di basso, anche se nelle note del libretto era scritto che le parti di basso erano suonate da Johan Liiva. Fu lo stesso Michael Amott a rivelare in seguito che l'unico motivo era quello di non far sembrare gli Arch Enemy il suo gruppo. Secondo molti, questa prima opera rimane la più aggressiva e, qualitativamente, migliore dell'intera discografia del gruppo.

Nel 2001 venne chiesto a Johan Liiva di lasciare la band. Michael Amott cominciò la ricerca di un frontman "più dinamico" , poiché deluso dalla partecipazione di Liiva nei concerti. Liiva venne sostituito dalla giornalista e cantante tedesca Angela Gossow, che aveva fatto ascoltare un demo tape a Michael durante un'intervista avvenuta qualche mese prima.

Christopher Amott lasciò la band amichevolmente dopo l'album "Doomsday Machine" per ritornare al college. Dopo che Gus G sostituì momentaneamente la chitarra ritmica per la band durante alcune loro date del tour dell'Ozzfest, Fredrik Åkesson entrò come membro fisso della band, ma durò poco poichè Christopher rientrò definitivamente nel Marzo 2007.

E' stato un pregiudizio diffuso il fatto che Johan Liiva avesse suonato il basso su "Black Earth" in realtà venne registrato da Michael Amott, il quale diede i credits a Liiva per fare il modo che l'album sembrasse più di una band vera e propria che non un side-project (che in effetti gli Arch Enemy essezialmente erano a quel tempo.)

Il chitarrista fondatore Michael Amott e la cantante Angela Gossow, oltre che suonare nella stessa band, secondo alcune voci sono legati sentimentalmente