Sofus Madsen ble født i Kristiania i 1881, men kom tidlig til Bergen og fikk alt som barn sitt første møte med billedhuggerkunsten. I unge år gikk Madsen på skole der han lærte å tegne. Senere arbeidet han på Ingebrigt Viks rosettfabrikk.
Tidlig i tyveårene dro Madsen til utlandet, først til København, senere til Tyskland og Frankrike. Han ble en flittig gjest på de store kunstmuseene på kontinentet. Når Sofus Madsen kom tilbake til Bergen, etablerte Madsen seg på Landås i selvtegnet hus med sin kunstnerkone Grethe. Der ble han til han døde 96 år gammel.
