Zum Beispiel so:

Es wäre besser für mich gewesen, nicht dort/dabei gewesen zu sein
Es wäre besser für mich gewesen, wenn ich nicht dort/dabei gewesen wäre

Oder einfacher:

Ich wäre besser (erst) gar nicht dort gewesen.
Besser wäre ich (erst) gar nicht dort gewesen.

Oder m.E. noch geläufiger:

Ich wäre besser (erst) gar nicht hingegangen.
Besser wäre ich (erst) gar nicht hingegangen.

Zugegeben, das "für mich" entfällt hier, und damit eine mögliche inhaltliche Nuance, die unter Umständen von Bedeutung ist. Aber als Ausdruck des Bedauerns, Zeit verschwendet zu haben oder etwas gehört zu haben, was man nicht hören wollte, finde ich die kürzere Version gebräuchlicher. Das "erst" hat keine große Bedeutung, es steht da mehr aus "musikalischen" Gründen.

Ich denke, es kommt auch ein wenig auf die Situation an, um die es geht. Davon steht ja nichts da.
Manchmal ist es tatsächlich für einen selbst besser, wenn man irgendwo nicht dabei war (z. B. wenn man verletzt wurde), manchmal aber einfach nur so besser, dass man nicht dort war (z.B. man musste bestimmte Sachen nicht miterleben oder war nicht Ursache für ein Problem für andere).