Antwerpen ontstond op de “aanwerp” die zich op ongeveer een dertigtal meter in de Schelde bevond. Reeds voor 650 werd er ter verdediging een houten vesting  met aarden wal gebouwd. De Salische Franken die er verbleven, zouden hun oude goden Thor en Freya opgeven voor het christendom. De kerstening gebeurde door de missionarissen St. Eligius (6de eeuw), St. Amandes (7de eeuw) en St. Willebrordus (8ste eeuw). De Noormannen verwoesten alle leven aan de Scheldeoevers in 836.

Omstreeks 1200-1225 werden het Steen  en de burchtmuur gebouwd: cyclopische muren van Doornikse steen, liefst 12 meter hoog (6 meter bovengronds). De zuider- en westerbenedengevel van het Steen en de steenpoort  zijn overblijfselen van deze ringmuur waaraan ook nog in de jaren 1394-´95 werd gebouwd. Deze burchtmuur, van stevige torens voorzien, omsloot een veilige ruimte waarin een aparte, stedelijke gemeenschap ontstond. Binnen de burchtruimte waren belangrijke straten en gebouwen. Centraal de kerk van de burcht, gewijd aan St.Walburgis (afgebroken in 1817) en verder de vierschaar( waar recht gesproken werd in open lucht), het geuzenhuis ( verblijf van de Teutoonse ridders sedert 1284, afgebroken in 1856), een stadsmagazijn(van de vellenlooiers) en een herenwoning.

Rond 1520 onder Karel de vijfde werd het Steen grondig verbouwd: van het Steen bleef alleen de onderbouw in Doornikse steen bewaard, die duidelijk te onderscheiden is van de zandstenen bovenbouw uit de 16de eeuw.

De eerste vermelding van het Steen als gevangenis dateert van 1303. Vooral tijdens de godsdiensttroebelen van de 16de eeuw krijgt het Steen een afschrikwekkende reputatie en hebben vele executies van ketters plaats. Tot in 1823 blijft het een Huis van Bewaring. Boven de oude burchtpoort bleef in een vierkante nis het Semini-beeldje bewaard. Het Frankische afgodsbeeldje -Semini zoals hij in het algemeen heet in de 16de eeuw-  genoot bijzondere belangstelling bij de Antwerpse, jonge dames die hem een kindje kwamen afbedelen. Fallisch vruchtbaarheidssymbool dus maar door de jezuïeten van zijn voornaamste attribuut beroofd in 1587.

Het huidige Steen is slechts een restant van de burcht. Ruim honderd jaar geleden verdwenen de aanworp en de burcht met een aantal pittoreske huizen errond, ingevolge de rechttrekking van de Scheldekaaien