Les sources archéologiques permettent de retracer l'histoire d'Ohlendorf au-delà de la première mention : en 1955, des tessons de céramique ont été découverts au nord-est d'Ohlendorf, ce qui indique qu'une petite colonie s'y trouvait déjà aux 4e et 5e siècles.
Une première description plus précise d'Ohlendorf figure dans le registre des successions de l'office de Schladen datant de 1567 : le village comptait sept laboureurs disposant de grandes propriétés foncières et 24 kotsassen, qui disposaient de petites surfaces à exploiter.
Au XIXe siècle, les appartenances politiques se sont succédées à plusieurs reprises au sud de l'actuelle ville de Salzgitter : au début, Ohlendorf était encore hildesheimois, puis prussien, il a fait partie du royaume de Westphalie créé par l'empereur Napoléon Bonapart au début du siècle, il a ensuite été hanovrien jusqu'en 1866 et a finalement fait à nouveau partie de la Prusse.
Pour les habitants, les changements d'appartenance politique n'ont probablement pas joué un rôle majeur dans leur vie quotidienne. En revanche, l'inauguration de la nouvelle église construite en 1870/71 a probablement été un événement très important. La répartition des coûts entre les membres de la paroisse pour financer le nouveau bâtiment conçu par l'éminent architecte Conrad Wilhelm Hase a fait l'objet de discussions pendant quelques années.
Contrairement à d'autres localités situées sur le territoire de l'actuelle ville de Salzgitter, Ohlendorf n'a pas subi de changements radicaux avec la construction des usines du Reich. Certes, un puits de mine et un camp ont été construits sur le territoire communal pour accueillir les prisonniers de guerre astreints au travail forcé, mais le village et ses exploitations agricoles ont conservé leur substance de base.
Aujourd'hui, seule la cité minière construite en 1956/57 sur la route de Gielde rappelle l'époque de l'extraction du minerai. Le dernier train de minerai a quitté le puits d'Ohlendorf le 20 avril 1966.
Même si l'infrastructure de ce quartier situé à la périphérie sud-est de la ville s'est progressivement réduite au cours de la seconde moitié du XXe siècle avec la fermeture de l'épicerie, de la boulangerie, de la boucherie et de la banque, il existe encore aujourd'hui des associations très actives qui marquent la vie sociale. Le TSV Ohlendorf de 1924 et les pompiers volontaires d'Ohlendorf comptent le plus grand nombre de membres.
