Ich würde das auch eher mündlich klären.
Dein Ansatz klingt allerdings für mich schon relativ rüde. Ich-Botschaften sind natürlich immer gut, v.a. wenn sie Empfindungen ausdrücken. Aber ich würde noch einen in mir liegenden Grund angeben, etwa so: "Mir fällt es häufig schwer, mich auf meine Arbeit zu konzentrieren, wenn sich in meiner Umgebung Leute unterhalten, v.a. wenn es nicht mit der Arbeit zu tun hat. Wäre es möglich, daß Du Privatgespräche nicht neben mir/am Schreibtisch führst? Das würde mir sehr helfen. Danke."
Man kann das natürlich noch ausführlicher gestalten, aber so sollte Dein Kollege sich nicht angegriffen fühlen, da Du ihm nicht die Gespräche "verbietest", sondern ihn nur bittest, sie an einem anderen Ort zu führen.
Wobei ich davon ausgehe, daß der Kollege mit anderen Kollegen oder am Telephon diese Privatgespräche führt. Wenn er mit Dir Privates bespricht, müßte das natürlich abgewandelt werden.