相談させてください。 

・私（31）初婚 夫（36）バツイチで元妻のところに12歳の男児あり 
・付き合って3年、今年のはじめに妊娠が発覚して入籍、式などは挙げていません。夏に女児を出産し、3ヶ月ほど実家（車で１時間ほど）にて静養し、現在は夫の実家で義父と同居。 

悩みは、夫と元妻&子供との関係についてです。 
元妻とは4年ほど同棲し、結婚。すぐに長男が生まれ、実家近くの賃貸で5年ほど暮らして実家のそばに家を建てたそうです。 
その後、妻とうまく行かなくなり妻の方から離婚を切り出し、話し合いの末離婚、子供は妻が連れています。 
しかし、新築したばかりの家を売るのもどうかということで、名義の関係上夫が実家へ戻り、妻と子供は今現在もそこに暮らしています。 
私もそれは知っていましたが、事情があって夫の実家を出ることができません。 
妻の家とは目と鼻の先に実家があり嫌でも目に入る状態。当然、近所の人達も皆事情を知ってます。

夫は離婚後、子供のために月3万の養育費を支払い続けています。
しかし、現在元妻は再婚して新しい夫がいて、経済的に困窮している様子はありません。むしろ、私達夫婦の方が経済的には苦しいです。
夫は父親の勤めとして子供に養育費を払ってるみたいですが、正直もうやめてもらいたいのです。
また、元妻とたまにですが今も連絡をとっているのも非常に不愉快です。

もうお互い新しい家族を持っているのだから、過去の家族と関わるのはやめてもらいたいのです。
どう話せばいいでしょうか？