Achtertuin hekwerk/stenen muur

Beste lezer,

Graag zoek ik hulp bij het oplossen van een klein conflict met de buren.
Wij zijn hier 1.5 jaar geleden komen wonen en hebben onze achter tuin deels aangepakt. Links hebben wij 17 meter schutting geplaatst in goed overleg.
Rechts echter hebben wij 13 meter heg, 2 meter houten schutting en 2 meter stenen muur haaks op de woning staan.
De muur is verzakt en komt "los" van de muur. Je kan je vingers tussen het muurtje en de woning muur plaatsen. Het hout van het hek is aan het rotten. De heg echter is mooi.
ik heb de buurman voorgesteld de muur af te breken en het hekwerk ook. Alles te vervangen voor het zelfde hekwerk wat ik ook aan de linker zijde heb.
Echter was de buurman hier helemaal niet van gediend. "Dan heb ik links en rechts een ander soort type schutting en kleur. Geen spraken van."

Nu ben ik aan het passen en meten geweest. De muur tussen de ramen is 33 cm. Het te slopen muurtje begint 4 cm vanaf onze deuropening/raam en loopt dan 8 cm door(dikte baksteen). Met andere woorden. 33/2=16,5. Het muurtje staat op de eerste 12 cm van woningmuur / middelpunt. De muur+hekwerk+heg staat allemaal volledig op onze grond.
Nu heeft de buurman in overleg met de vorige bewoner het muurtje laten plaatsen en later (zonder toestemming) het hekwerk.

Ik wil het weg, omdat ik het muurtje spuug lelijk vind, is het naar mijn mening ook gevaarlijk en staat het op mijn grond.
Je kan een trap geven tegen het muurtje en het beweegt in principe niet en daar argumenteert de buurman dan ook mee dat het muurtje "veilig" is.

Mag ik de muur+oude hekwerk weghalen en een nieuwe schutting op MIJN grond plaatsen en de buurman mag kijken wat hij doet aan zijn kant? wellicht een nieuwe muur laten metselen,maar dan op zijn grond?
De heg laten we staan. Het gaat hier dus om 4m afscheiding.

Hoelang het oude er al stond is mij onbekend? kan hier sprake zijn van eventuele verjaring en mag ik er dan niet aanzitten?

Bij voorbaat dank.