マイホームを建てる場所に義実家から反対された方いますか？

旦那(長男)、私(一人っ子)で嫁いで不妊治療のため子どもはまだいません。
私の実家で持っている空いている土地があるので旦那と二人でそこに建てたいと思い義実家に話をしました。その場で反対はされませんでしたが、次の日義母から旦那へメールで連絡が入りました。

「私(義母)の実家の将来のことがあるからそっちに近いほうに住んでもらいたい。」
「もっと立地のいい土地の価値があるところに建てろ」

と、義両親からの反対に合いました。
義母は嫁に出てきている立場だし、現在弟さんがその実家に両親と住んでいます。
私達夫婦が建てたい場所は近くにスーパーもコンビニも駅も総合病院もあり決して悪くない場所です。というか私の実家で持っている土地の場所を悪く言われた気がして正直腹が立ちました。
何をそんな頑なに拒否しているのか、私の実家から土地を譲ってもらい建てるのが許せないのかな？とも思います。
将来的にはどちらの両親の面倒も見ますが、義実家の感じだと自分達のことだけしか考えていないような気がしてなりません。
旦那も建てる意思はあるものの、自分の両親を説得させる気があるのかないのか全くわかりません。

反対されて建てた方がいましたら是非お話聞きたいです。