安政3年(1856年)7月、ハリスが米国総領事として下田に来航し、8月に玉泉寺は我国最初の米国領事館となった。通訳のヒュースケン、召使の中国人等とともに安政6年5月まで滞在し、江戸に出府して日米修好通商条約の交渉を進めた。境内には5基のアメリカ将兵の墓と、4基のロシア将兵の墓がある。