1438（永享10）年、関東管領・上杉憲実は鎌倉公方・足利持氏との確執から身の危険を感じたため、 鎌倉を退き、平井城に身を寄せた。 この頃、一郷山城は平井城西方の守りとして多比良城と共に築かれた。 1563（永禄6）年、一郷山城は武田信玄による侵攻を受けた。 城将・安部之友は天険を活かして大木や大石を落とし抵抗するが、山麓から火が出て山を焼き、城も悉く焼け落ちた。 そして、之友は配下を連れて武田勢に切り込み、戦死した。

一郷山城は、標高約490mの牛伏山から東に延びる尾根上に築かれた城である。 規模は東西約190m、南北約100mであり、本丸を最高所に配し、 そこから東西に延びる尾根上を階段状に削平して曲輪を設けている。 曲輪は小規模で居住性が低く、水の手も城内には無かったことから、 狼煙台として機能していたものと考えられる。

展望台建設のため遺構が残っていないことを覚悟して訪れたが、 展望台東に階段状の曲輪・堀切・石垣が見られた。