建永２年（１２０７）法然上人が流罪となって塩飽島到着の時、迎えた地頭・高階保遠西忍の館跡という。年寄吉田彦右衛門の墓がある。