南北朝時代の1346〜1369年（正平年間）に、名和氏の一族上神高直が石山に岡山城の前身である城を築いたと言われている。 1573（天正元）年、宇喜多直家が当時城主であった金光宗高を滅ぼし、その城を改修した後に沼城から移ってきた。 そして豊臣政権下で五大老に列せられた、直家の子、秀家は1590（天正18）年から岡山という丘に本丸位置を移すなどの大改修を行った。 しかし、関ヶ原の戦いで西軍につき敗れたため1600（慶長5）年改易となり、代わって小早川秀秋が城主となっている。 1602（慶長7）年に秀秋が急死し、継嗣がなかったため小早川氏は改易となっている。 その後は池田輝政に連なる池田氏が幕末まで続いた。

標高十数メートルの小高く連なる丘に築かれた城である。 本丸が岡山という丘に設けられたため、それが城名となっている。 西には石山があり、さらに北西には天神山の丘が連なる。 縄張は三段の城郭配置が西側の一方だけに広がる梯郭式平山城となっている。 本丸の北から東には郭がなく非常に防備が薄いため、旭川の流路を変更し、天然の堀として東側の備えに利用したとされる。 天守台が北に大きく突き出た不等辺五角形で全国でも例の少ない珍しい形をしている。

早朝に到着したため、先に開園となっていた後楽園をまず見学した。 後楽園の音声解説機を500円で借りて一周回ったが、なかなか楽しめた。 後楽園の駐車場は無料であった。