Sommeren 1914 var Madsen på besøk i Bergen. Krigens utbrudd hindret ham å dra tilbake til København, og det som var ment å være et kort opphold i hjembyen skulle vise seg å bli permanent. Han ble boende i Bergen til sin død i 1977, 96 år gammel.
Sofus Madsen giftet seg med billedveversken Grethe Corneliussen som han hadde kjent fra unge år. I 1917 kunne de flytte inn i sitt nybygde hjem på Kanonhaugen på Landås, den gang langt fra byen og derfor i meget landlige omgivelser. Madsen, som i unge år hadde et ønske om å bli arkitekt, tegnet selv huset. Her bygget Madsen senere det atelieret som idag er museets utstillingslokaler.
Et stort antall verk fikk de kommende år sin form i huset på Kanonhaugen, poetisk døpt «Stormbakken». Mange av byens kjente menn satt modell for Madsen og havnet som hoder eller byster ute i byen, i bedrifter eller i kulturinstitusjoner. Men det var først og fremst arbeidet med et stort antall verk i helfigur som fylte arbeidsdagen, helt frem til den store Vandringsmannen, datert 1967. Mange arbeider ble laget i forbindelse med utsmykningskonkurranser, men i de fleste tilfeller måtte han se andre få oppdraget. Madsen fikk likevel anledning til å sette sitt preg på byrommet i Bergen.