1689（元禄2）年、高山藩5代藩主・金森頼時は5代将軍・徳川綱吉の側用人に任命されたが、 不興を買ってわずか1年で解任された。 さらに1692（元禄5）年に金森氏は出羽上山へ移封され、飛騨は天領となった。 飛騨代官は関東郡代・伊奈忠篤が兼務することとなり、 1695（元禄8）年旧領主・金森氏の下屋敷が代官所として定められた。 これが高山陣屋である。 飛騨代官は当初江戸に定住し、秋のみ高山に出向いて年貢の沙汰や訴訟の裁決を行っていたが、 1738（元文3）年以降は幕府の命により陣屋に常住することが義務付けられた。 以後、高山陣屋は幕末まで飛騨支配の政庁として続き、 1868（慶応4）年25代郡代・新見正功が討幕軍を前に江戸へ脱走するに至りその役目を終えた。

高山陣屋は、高山城の西麓、宮川を挟んで高山城と向かい合う位置に築かれた陣屋である。 規模は時期による変遷はあるが、約80m四方である。 役所として機能するため、容疑者を取り調べる白洲、罪人を閉じ込める仮牢、 役人の職場である御役所など様々な施設を備えていた。

多くの建物が現存、また復元されており、まるで時代劇「水戸黄門」に出て来る奉行所にでも居るかのようであった。 風車の弥七（だったかな？）が「こいつが全部吐いちまったぜ！」とか言って御役所前の庭に出て来そうであった。