Zijn gesternte was niet erg rooskleurig: als peuter valt hij van een hoge trap met z’n hoofd op een stenen vloer, hij ziet als kleuter verdund zwavelzuur voor melk aan, wordt op  het nippertje uit een snelstromende rivier gered, raakt zwaar gewond bij een explosie en slikt  een keer een naald in, maar hij overleeft het allemaal.

Voorts was hij erfelijk belast: zijn vader, Charles Joseph, was opgeleid tot meubelmaker, maar komt via werkeloosheid tot het maken van muziekinstrumenten, om te beginnen een serpent voor zichzelf. De familie verhuist naar Brussel waar ook de werkplaats komt. Charles blijkt een onderzoekende geest met grote handvaardigheid en verwerft o.a. roem met een “Cor omnitonique”, een waldhoorn met een vernuftig systeem om de stembeugels te wisselen. De jonge Adolphe komt als leerjongen in de werkplaats en blijkt al even inventief. Hij komt al gauw met een verbeterde klarinet en ontwerpt een basklarinet van een voor die tijd superieure kwaliteit. Intussen volgt hij muzieklessen aan de plaatselijke muziekschool (later wordt dat het Conservatorium) en blinkt daar uit als klarinettist.

In 1839 hoort hij van een demonstratie van een basklarinet in Parijs en besluit er (te voet) heen te gaan om zijn eigen instrument te promoten. In Parijs maakt hij kennis met belangrijke relaties die hem zijn leven lang van pas zullen komen: o.a. componisten Hector Berlioz en Giacomo Meyerbeer, dirigent F.A. Habeneck en diverse conservatoriumleraren; allen zijn onder de indruk van Adolphes spel en de kwaliteit van zijn instrumenten. Een nuttige ontmoeting was die met de militair Graaf de Rumigny die zijn latere relatie met het leger vereenvoudigde.

Terug in Brussel experimenteert hij verder aan instrumenten waarbij het koper veel aandacht krijgt. Het is niet duidelijk of het idee van de saxofoon toen al vorm had gekregen: misschien had hij er zelfs al een mee naar Parijs. Men zocht in die tijd naarstig naar een instrument in basligging ter vervanging van serpent en ophicleïde, die toch wel beperkingen hadden en zeer waarschijnlijk heeft Sax het mondstuk van een basklarinet uitgeprobeerd op een ophicleïde: het resultaat lijkt erg op een baritonsaxofoon. De ontwerptekeningen in de eerste patentaanvraag  uit 1846 tonen voor de lagere leden van de familie dan ook de vorm van de ophicleïde: de beker bovenaan! 

Parijs blijft lokken en in 1841 reist Sax definitief naar de Franse hoofdstad, waar hij zo enthousiast ontvangen was bij zijn eerste bezoek. Bovendien is de kwaliteit van de productie van (vooral militaire) instrumenten matig: ruim 30 fabrikanten hadden elk hun eigen ideeën zodat van een eenheid nauwelijks sprake was. Adolphe zag er een mooie taak voor zichzelf!