Eftersom Skansberget under sin längsta tid varit en ö lämpade det sig som plats för en fornborg redan under folkvandringstiden. Det första kända namnet är Galleberget och syftade på avrättningsplatsen på toppen. Den 6 juni 1612 beordrade danske kung Kristian IV byggandet av de militära skansar som sedermera skulle ge berget dess namn. Efter bygget blev striderna om dessa och staden många. Den så kallade Gyldenlöwefejden 1675 - 1679 tog styggt på skansarna som rustades upp i början av 1700-talet. Ingen ytterligare krigshandling har dock ägt rum där sedan dess. År 1860 ägde trädplantering rum på berget och några år senare uppfördes utsiktspaviljongen Borgmästarens paraply. Den stod där till 1936. I 13 år var Restaurang Skansenstugan ett populärt nöjes- och dansetablissemang på bergets topp men 1963 brann den upp. Så i dag återstår på berget, förutom resterna av skansarna, Folkdansgillets stuga och Dalslandsstugan samt det av Hemvärnsföreningen renoverade skyttevärnet i nordväst. Informationsskyltar berättar mer om berget som lättast bestiges från Strömstadsvägen och Skansgatan.