De club werd opgericht in 1919 als Freier Spiel- und Sport-Verein Besenhorst. In 1929 werd de naam veranderd in ASV Geesthacht-Düneberg. Het voetbalteam kreeg in de 50'er jaren bekendheid als de dynamiet-voetballers omdat de uitvinder van het dynamiet Alfred Nobel in Geesthacht een fabriek exploreerde.
In 1953 promoveerde de club naar de Verbandsliga Hammonia. Vier jaar later klopte de club voor het eerst op de deur van de hoogste Hamburger liga. De club eindigde samen met Ahrensburger TSV op de eerste plaats. De beslissingswedstrijd in het oude Millertor-Stadion eindigde voor 12.000 toeschouwers in 2-2. In de herhaling verloren de Düneberger enkele seconden voor het einde met 0-1.
Een jaar later verzekerde Düneberg zich met vier punten voorsprong op TSV Duwo 08 van het kampioenschap en de promotie naar de Amateurliga Hamburg. Al in het volgende seizoen, 1958/59 volgde degradatie. Omdat enkele topspelers daarna hun carrière beëindigden werd het team meteen in Bezirksliga ingedeeld. In 1964 keerde het elftal in de Verbandsliga Hammonia terug en speelde daarin tot 1971.
Daarna pendelde de club tussen Bezirks- en Kreisliga. In 2008 degradeerde men zelfs naar de Kreisklasse.
In 2018 keerde de club terug op het niveau van de Landesliga. In het seizoen 2022/23 behaalde de club de 2e plaats in de Landesliga Hansa. In de promotie play-off verloor de club in totaal met 4-5 van SV Halstenbek-Rellingen. Doordat Eimsbütteler TV naar de Regionalliga Nord promoveerde mocht Dünberger SV de vrije plaats in de Oberliga innemen.