Dzięki źródłom archeologicznym historię Ohlendorfu można prześledzić dalej niż jego pierwsza wzmianka: w 1955 r. odłamki ceramiki znaleziono na północny wschód od Ohlendorfu, co wskazuje, że istniała tam mała osada już w IV/V wieku.
Pierwszy szczegółowy opis Ohlendorfu znajduje się w rejestrze spadkowym urzędu Schladen z 1567 r. We wsi mieszkało siedmiu rolników, którzy byli właścicielami większych działek, oraz 24 Kotsassen, którzy mieli do dyspozycji mniejsze działki pod uprawę.
W XIX wieku przynależność polityczna południowej części dzisiejszego miasta Salzgitter zmieniała się kilkakrotnie: początkowo Ohlendorf był jeszcze Hildesheim, następnie Prusami, należał do Królestwa Westfalii utworzonego przez cesarza Napoleona Bonapartego na początku wieku, następnie był Hanowerem do 1866 roku i ostatecznie ponownie stał się częścią Prus.
Dla mieszkańców zmiany przynależności politycznej prawdopodobnie nie odgrywały większej roli w życiu codziennym. Jednak konsekracja nowo wybudowanego kościoła w latach 1870/71 była prawdopodobnie bardzo ważnym wydarzeniem. Podział kosztów między parafianami w celu sfinansowania nowego budynku, zaprojektowanego przez ważnego architekta Conrada Wilhelma Hase, był dyskutowany przez kilka lat.
W przeciwieństwie do innych miejscowości na terenie dzisiejszego miasta Salzgitter, Ohlendorf nie zmienił się drastycznie wraz z budową Reichswerke. Chociaż w dzielnicy zbudowano kopalnię i obóz dla jeńców wojennych zmuszanych do pracy przymusowej, podstawowa struktura wsi i jej gospodarstw pozostała nienaruszona.
Dziś tylko osiedle górnicze zbudowane w latach 1956/57 przy drodze do Gielde przypomina o erze wydobycia rudy. Ostatni pociąg z rudą opuścił szyb Ohlendorf 20 kwietnia 1966 roku.
Chociaż infrastruktura w dzielnicy na południowo-wschodnim skraju miasta stopniowo podupadała w drugiej połowie XX wieku z powodu zamknięcia sklepów spożywczych, piekarni, sklepów mięsnych i banków, nadal istnieją bardzo aktywne kluby, które do dziś charakteryzują interakcje społeczne. Najwięcej członków mają TSV Ohlendorf z 1924 r. i Ochotnicza Straż Pożarna Ohlendorf.
