1864年（元治元年）、海舟は四カ国艦隊の下関攻撃を思いとどまらせる交渉のため長崎に出張します。この時、供についたのが坂本龍馬と高木三郎になります。一行は筑後町（現在のＪＲ長崎駅の東側）の福済寺に入ります。この時の事を『海舟座談』で高木三郎は次の通り語っています。
 
「四カ月ほど滞在して、梶さんはその時の子サ。」
梶さんとは海舟の三男・梶梅太郎の事になります。海舟はこの時に先立つ1855年（安政2年）から4年ほど長崎海軍伝習所に入門していますが、この時に滞在した梶家の娘・クマと恋仲となっています。この女性と数年ぶりに再会し、その時にできた子が梶梅太郎だという事のようです。因みに梶梅太郎は1886年（明治19年）年上のアメリカ人女性と国際結婚をしています。
 
続けて高木三郎は
「（先生は）竜馬と相撲を取られました。」と語ります。
この勝負が行われたのは福済寺の境内での事のようです。
先生は小さくて、剣術柔術が得意で、龍馬は体は大きいが柔術を知らない
「先生が、胸の所へ、コウ小さくクッツイた具合は、マア、鶴にタカがちょっととまったようで、それは見物で、未だに忘れられません。」
気になる軍配がどちらに上がったかは、高木三郎は明言していません。

 
そして龍馬についても語っています。
「大キナ男で、セナカに、アザがあって、毛が生えてネ。ハア、いっしょに湯などにも這入りましたから、ヨク知っています。」
また「坂本は、文字がありません。」とも語ります。龍馬は読書を好まなかったという話と逆に読書家だったという二通りの説があり、おそらく龍馬は、漢文体の難しい書物が苦手だったのではと想像します。