延徳3年(1491年）、堀越公方足利政知の死去後、伊豆は混乱に陥る。明応2年(1493年)に北条早雲が侵攻し、同7年（1498年）に西海岸から上陸して深根城を攻略した。この戦いで足利茶々丸は追い詰められたとされ、城西方には「御所の墓」と呼ばれる石塔が残る。