戦国末の動乱期に美作に生れたと言われます。13歳より壮年に至るまで六十数回の剣術勝負を行い負けた事がなかったといい、その中でも、京都での吉岡一門との戦いや、巌流との船島での決闘などはよく知られています。そして晩年には熊本・細川藩の食客となります。熊本城と有明海の間にそびえる金峰山の岩窟・霊巌洞に籠って『五輪書』を書き上げ、それからいくばくもなく死去します。62年の生涯でした。
墓は熊本城から北東に7㎞ほど離れた武蔵塚公園（熊本市北区龍田弓削）にあり、同公園には銅像も建てられています。