Radzovce sa nachádzajú na východnom pomedzí historickej Novohradskej župy, ktorá tu hraničí s Gemerom. Obec leží v severnom ústí priesmyku, ktorý spája údolie potoka Zagyvy na juhu s lučenskou kotlinou na severe.
Chotár obce leží uprostred Cerovskej vrchoviny na nive a terase potoka Belina v nadmorskej výške 216 – 584 m. Značne odlesnený chotár na pahorkatine a vrchovine tvoria treťohorné tufitické pieskovce, z ktorých vystupujú erózne trosky lávových prúdov. Do chotára obce zasahuje Cerovská vrchovina roku 1989 vyhlásená za chránenú prírodnú oblasť.