Warum weht an warmen Sommertagen aus den Kellerfenstern / Kellerluken von Altbauten ein kalter Hauch?

Das weiß ich auch nicht. Ich erinnere mich an eine Wohnung, die eine Verbindung zum Keller verfügte. Die wurde an heißen Tagen geöffnet und die aufsteigende Luft kühlte den Raum.

Das hat weniger mit warmer aufsteigender Luft zu tun als mit echter Physik. (siehe Schornstein)
Wenn der "Keller" eine weitere Lüftung (Öffnung) hat, dann entsteht am offenen Kellerfenster Luftströme welche Über- und Unterdruckgebiete (!) entstehen lassen, wodurch ein Sog entsteht der eben nach draußen bläst.

Wer Langeweile hat: http://www.drsonnenburg.de/Referenzen/Ref_CFD_Feuchter_Keller.htm

Apropos Lüften von Kellerräumen: man sollte im Sommer die Keller nur lüften, wenn es im Keller wärmer ist als draußen. In den Sommertagen holt man sich ansonsten die warme, feuchtigkeitsgesättigte Luft in den Keller, diese kühlt dann an den kalten Wänden ab und kalte Luft kann nicht so viel Feuchtigkeit binden wie warme Luft; so kondensiert die Luft an den Kellerwänden. Es kann zur Schimmelbildung führen.
Das gleiche lässt sich im Badezimmer beim Duschen beobachten: warum ist wohl der Spiegel klitsche nass?

In Häusern gibt es eine Luftbewegung von Kalt nach Warm. Warme Luft steigt auf, und zieht damit kalte Luft nach. Das geht thermodynamisch so lange, bis die Temperatur ausgeglichen ist.