Mer enn 200 år etter at Moritz Hartmann kjempet for den franske Kong Ludwig XIIII, kom familien Hartmann tilbake til Frankrike. Historien fortsatte med Halfdan Hartmann, født i Lier utenfor Drammen i 1865. Halfdan var eldste sønn av Simon Fougner Hartmann og hans danske hustru Augusta C. J. Birkedal. De fikk tre sønner, før Simon døde bare 35 år gammel. Augusta flyttet tilbake til familien i Danmark og tok med seg yngste sønnen Hjalmar. De to eldste sønnene ble igjen i Norge for å studere.
Hjalmar arbeidet som gartner ved det kongelige danske slott og startet senere eget frøselskap under navnet Hjalmar Hartmann. Firmaet eksisterer i København den dag i dag. Den mellomste sønnen, Johannes, leste teologi og startet senere den berømte Hartmanns Internatskole på Hvalstad i Asker. I mellomtiden tok eldstesønnen Halfdan realskoleeksamen og reiste til Danmark hvor han fullførte Handelsskolen. Deretter tok han jobb som salgssjef for vin -og spritselskapet N. F. Larsens Sønner i London.