1331（元弘元）年、鎌倉幕府倒幕計画が発覚し、後醍醐天皇は笠置山へ逃れた。 楠木正成はこれに合わせてこの地に下赤坂城を築いて挙兵し、護良親王も当地に身を寄せたと伝えられている。 幕府軍が攻め寄せてくると、下赤坂城はにわか造りのため落城、正成は金剛山へと後退した。 翌1332（元弘2）年に正成は再起し、下赤坂城を奪還した。 再びこの城は落城するが、千早城での籠城の間に鎌倉幕府は滅亡した。 その後、南朝方の楠木正儀がこの城に拠ったが、1360（延文5）年北朝方に攻められ城を捨てている。

下赤坂城は、金剛山地から延びる標高185.7m、比高61.4mの丘陵を利用して築かれた城である。

上赤坂城に登城した後、日暮れまで少々時間があったので寄ってみた。 前回は冬、今回は秋であったが、やはりいつ見ても棚田は美しい！ 棚田を鑑賞した後、村役場の方まで城域であったらしいので歩いて行ってみようと思ったが結局日が暮れてしまい、 前回と同様に城址碑と棚田を見ただけで終わってしまった。

特に何も遺構は残っていないが、棚田百選である「下赤阪の棚田」がある。