備前長光の長刀が武蔵の額をかすめた。武蔵は空中で体を右に開き、左手打ちに木刀を振り降ろしていた。それがために、小次郎の一撃は空を切ったのである。小次郎はがくりと膝から崩れ落ちた。両手がわずかに返る仕草を見せたが、すでに刀を持ち上げる力はなく、燕返しの二の太刀はなかった。
　試合は予てより一撃と約束されていた。それ故に、小次郎に反撃の余力がないのを見て取ると、武蔵は木刀を下ろし、検使役に報告のためその場を離れた。十歩も歩いただろうか、後ろに人の気配を感じ振り向くと、蘇生したばかりの小次郎を十数人の男達が寄ってたかって打ち据えているではないか。
「な、何をしている！　やめないか」
　昨夜の不安が的中した。試合の場と定められた舟島には双方の弟子達は参加しない申し合わせであった。その約束を破って武蔵の弟子達が来ているばかりか、蘇生しかかった小次郎を滅多打ちにしているではないか。慌てて弟子達を押しやったが、すでに小次郎は鼻と口からおびただしい血を流し、息絶えていた。
　何てことだ。これですべてがフイになった。武蔵は舌打ちした。
　異常な様子を感じ取ったのか、検使役が急ぎ足で近付いてくる。ひとまずこの場は去った方がよさそうだ。とっさにそう判断した武蔵は、弟子達に「おまえ達もこの場を去れ」と命じ、検使役の方に向かって一言「御免仕る」と言い残し、そのまま待たせていた舟に飛び乗った。
「急げ！」
　船頭にすぐさま舟を出すように命じた。
「どちらへ向かいますか？」
「うむ、下関の太郎左衛門……、いや門司、門司だ」
　舟が沖合に出た頃、武蔵は後悔し始めていた。少し早まったのではないだろうか。弟子達の行動は自分の預かり知らぬことだ。自分に非はないのだから、何も逃げるようにあの場を去らなくてもよかったのではないか。説明をすれば検使役も分かってくれたはずだ。そう思う一方で、いや、あの状況で拙者の預かり知らぬことといってもそれは通るまい。無用な騒動を避けるためにも、あの場を離れたのは正しかったのだ。そう自らを納得させるのだった。ただ、これで仕官の道が閉ざされたのは間違いない。そう思うと、無性に腹立たしくなる。
　さて、これからどうするーー。太郎左衛門にはこれ以上迷惑をかけられない、と思う端から第一、小次郎の門弟達が押し寄せてきた場合、太郎左衛門の屋敷ではちょっと心許ないし、とも思うのであった。
　身の安全を考えるなら、小倉の長岡佐渡の屋敷に身を寄せるのが良策のように思えた。だが試合前に、迷惑をかけられないと屋敷を出た手前、今さら戻るのはあまりにも厚かましすぎる。それに、小次郎の門弟達が待ち構えている小倉へわざわざ行くこともないだろう。
　その時、武蔵は門司城代の沼田延元を思い出した。そうだ、ここはひとまず沼田様を頼ることにしよう。沼田様なら佐渡守様のご親戚筋だし、以前にお会いしたこともある。たしか父無二斎の弟子でもあったはずだ。
　かくして武蔵は門司の沼田延元の屋敷で数日を過ごすことになる。が、やがて門司城下でも小次郎の門弟達が武蔵を探して騒ぎを起こし始めた。そこで武蔵は沼田延元に暇を告げ、豊後杵築へと移動する。その際武蔵は断ったが、道中の身を案じて沼田延元は石井三之丞ほか数名を伴として遣わしている。
　以上が巌流島の決闘の顛末である。どこか釈然としない幕切れである。一体、武蔵は勝ったのか負けたのか。もちろん武蔵の勝ちである。にもかかわらず大威張りで勝者だと言えない後味の悪さが残る。勝ちにどこか不明朗な部分があるからである。そのために後日、あれは同体、いや相打ちではなかったのかとか、武蔵の手付きが不十分だったとか、勝負に遅参するとは剣豪としての品格に欠けるなど、いろいろ噂されることになるのである。
　武蔵にとって小次郎との試合は、記憶の奥に封じ込めたまま、二度と思い出したくない試合であった。不名誉な試合といってもよい。だからこそ、あの目立ちたがり屋の武蔵が、「五輪書」で小次郎との一戦に一行も触れてないのだ。
　「五輪書」で言う。「我若年のむかしより兵法の道に心をかけ、十三歳にして初而勝負をす。其あいて新当流有馬喜兵衛と云兵法者に打勝、十六歳にして但馬国秋山と云強力の兵法者に打勝、廿一歳にして都へ上り、天下の兵法者にあひ、数度の勝負をけっすといへども、勝利を得ざるという事なし。其後国々に至り、諸流の兵法者に行合、六十余度迄勝負すといへども、一度も其利をうしなわず」と。
　このように兵法者としての自己の戦歴を華々しく謳い上げながら、続く文章では「其程年十三より廿八九迄の事也。我三十を越へて跡をおもひみるに、兵法至極してかつにはあらず……」と途端に謙虚になっている。
　二十八、九歳までの間に六十数度も勝負をしているのである。そして最後の、仕官を掛けた勝負が小次郎との戦いであった。にもかかわらず武蔵は自己の戦歴の中から、小次郎との試合を消し去ったのである。戦歴書とは今風に言うなら履歴書である。履歴書に空白の一行を作らざるを得なかった武蔵の苦痛。この苦痛故に、武蔵は以後勝負を絶つのである。