河後森城の築城年は明らかでないが、1196（建久7）年、渡辺綱から6代目の渡辺源連が河後森城に入ったと伝えられる。 その後、渡辺氏は西園寺氏に仕え、16世紀中頃（戦国時代中期）には西園寺十五将筆頭となり、1万6千石を領した。 しかし、16世紀中頃（戦国時代中期）の城主・渡辺政忠には継嗣がなかったため、一条氏から迎えた養子・教忠がその後を継いだ。 教忠は一条氏の出身であったため、一条氏が西園寺氏を攻めた際にも戦おうとはしなかった。 このため、1567（永禄10）年西園寺公広に攻められ、人質を出してどうにか許された。 1574（天正2）年に一条氏が土佐から追放されて以後は、長宗我部元親の伊予侵攻に対してよく戦ったが、 1580（天正8）年教忠は家臣・芝源三郎の裏切りに遭い、河後森城から追放された。 1585（天正13）年、豊臣秀吉の四国平定後、源三郎は下城を命じられ芝氏は没落した。 その後、豊臣系大名が城主となり、1614（慶長19）年伊達政宗の子・秀宗が宇和に入ると付家老・桑折氏が城主となった。 1615（元和元）年、一国一城令により廃城になった。

河後森城は、北に広見川、東と南に堀切川、西に鰯川が流れる比高約70mの独立丘陵に築かれた城である。 城は風呂ヶ谷を中心としたコ字型の丘陵上に築かれており、規模は東西約300m、南北約280mである。 丘陵上の南東部に新城、北東部に古城、北西部に本郭を構え、南西部は階段状に削平していくつもの曲輪を配している。

黒瀬城の時同様、またも隣の山に登ってしまったが、その後案内板を発見し、無事見て回ることができた。 遺構が良く残っていて素晴らしかったが、特筆するようなものは無かったように思う。