Wenn Du bei dem Wespennest die Waben sehen konntest, handelte es sich vermutlich um ein Nest der Feldwespe. Die sind sehr friedlich.
Ich habe mal in einer Holzhütte im Wald geschlafen und stellte am nächsten Morgen fest, dass ich direkt unter einem Nest der Mittleren Wespe lag. Das hat die aber auch nicht gekümmert.
Normale Wespen können bei belebten Stellen auch an Lärm und Erschütterung gewöhnt sein. In der freien Natur abseits der Wege habe ich zweimal Erdwespen erlebt, die sofort sehr aggressiv ausrückten. Dagegen haben wir in einem Garten direkt neben einem Erdwespennest gemütlich mit einem Ball gespielt (so Hin- und Hergekicke), und das störte die überhaupt nicht.