内藤家は、藤原秀郷等を祖とする、徳川家譜代の⼤名家である。元禄4年(1691)に内藤清枚が⾼遠領三万三千⽯を拝領して以来、明治4年(1871)の⾼遠藩の廃藩およびその後の高遠県の廃止までの約180年間、8代にわたって⾼遠領を治めた。代々の藩当主は江⼾城内では雁の間詰、江⼾城各御⾨の警衛、⽕の番、奏者番等を勤めたが、中でも⾼遠領知以前の当主、内藤重頼は若年寄、⼤阪城代、京都所司代を歴任した。また、幕末の内藤頼寧も天保11年(1840)に若年寄に就任するなど、幕府の要職に就いていた。