Mit den ersten Punktspielen nach dem Krieg, beginnen die Handballer schon 1945 mit acht Mannschaften und der VfV ist mit dabei. Besonders Siegfried Kopper sen., Mitbegründer der Handballabteilung hat großen Anteil am erfolgreichem Aufbau der Sparte, von 1945 bis 1970 wirkt er im Vorstand, ab 1956 als Vorsitzender mit. Die erste und damals einzige Hildesheimer Damenmannschaft spielt bereits 1941 beim TuSS Hildesheim 07, die Frauen schließen sich nach dem Krieg dem VfV an. Der Herrenmannschaft gelingt schon 1948 der Aufstieg in die Bezirksklasse, sie gehört zu den besten des Bezirks und gewinnt die Stadt- und Bezirksmeisterschaft.

Nach einer längeren Durststrecke stellen die Handballer in den sechziger Jahren wieder eine erfolgreiche Mannschaft. Das Team spielt in der Bezirksliga, zur damaligen Zeit die zweithöchste Spielklasse in Deutschland. Der schönste Erfolg gelingt 1964, als der Lokalrivale Eintracht Hildesheim, in dessen Reihen Nationalspieler Bernd Munck spielt, mit 15:13 bezwungen wird.

Eine Damenmannschaft kann erst wieder Ende der Fünfziger gestellt werden, die Frauen müssen allerdings ihre Spiele im (damaligen) Kreis Alfeld (Leine) bestreiten, da es in Hildesheim keine anderen Mannschaften gibt. Als Aufsteiger dürfen die Damen, mit einer Sondergenehmigung, schließlich im Bezirk Hannover mitspielen.

Die Umstellung von Groß- auf Kleinfeld, bzw. zur Halle hat die Entwicklung nicht gerade positiv beeinflusst. Das Ausscheiden von erfahrenden Spielern kann nicht mehr ausgeglichen werden und auch ein Beleben der Jugendarbeit bringt nur kurzfristigen Erfolg. Als im Jahre 1999 zum letzten Mal eine Mannschaft an den Punktspielen teilnimmt, kann die Saison nicht zu Ende gespielt werden, der Vorstand scheidet vor Beendigung seiner Amtszeit aus dem Verein aus und der Handballsport ruht seitdem beim VfV.