Ну что тут сделаешь-то? Коты — существа чистоплотные, вполне вероятно, что Ваш участок он воспринимает как место для игр и сна, а значит, не признает его местом туалетным.
Можно попробовать сделать на своем участке более привлекательные туалетные условия (разрыхлить грядки, насыпать песок либо, внезапно, привозить с собой лоток с привычным наполнителем). Можно взять землю с соседкиной грядки (возможно, просто попросить?) и насыпать у себя.
На крайний случай — изолировать кота (или соседку :cheer: ).