吉岡一門との戦いに決定的な勝利を納められなかった武蔵は京を去り、奈良に現れた。本来なら旧秩序の土地に見切りをつけ、新秩序の土地、まだ混沌として新しい秩序は出来上がってなかったが、それだけに活力のある町、江戸へ行くべきだった。ところが武蔵は奈良に居た。受け入れを拒まれながらも、京を一気に去らなかったのは、やはり、もしや、という一縷の望みを捨てきれなかったからだろう。
　奈良で、武蔵は奥蔵院と戦った。奥蔵院は宝蔵院流槍術の祖、覚禅坊胤栄の高弟である。武蔵は二度立ち合い、二度勝ちを納めた。少なくとも負けはしなかった。最初は相打ちに近かった。二度目は何度かの打ち合いの末、「参りました」と奥蔵院が槍を下げた。
　「いや、お若いのにお強い。かなり修練を積まれたに相違ない。そうで御座ったか、貴殿が都で吉岡道場に勝たれた宮本殿か。道理でお強いはず。どうで御座るかな、お急ぎでなければ当宿坊で二、三日御ゆるりとなされては。その間に、貴殿の兵法話などもいろいろお聞きしたいし」
　やはり分かってくれる人間もいた。武蔵は迂闊にも素直に喜び、勧められるままに二、三日逗留した。ところが「兵法の話など」という言葉とは裏腹に、奥蔵院はあまり武蔵に喋らせなかった。いや、武蔵が喋れなかったと言った方が正しいだろう。「兵」については語れるが、「法」を語ることができなかったのだ。武蔵はいつも動物的ともいえる勘で戦っていた。その上、並外れた膂力の持ち主である。吉岡一門との戦いで、何故両の手に刀を持ったのか、左刀の役割は、などと尋ねられても、相手を納得させる説明などはできなかった。勢い武蔵が聞き役に回ることになる。
　妙だ。何故、勝った儂が負けた相手から話を聞かねばならぬ。武蔵は苛立ちを覚えた。今で言うカルチャーショックである。屈辱に似た感覚を覚えながら、武蔵は古い町を後にした。勝負には勝ったが、試合に負けたのだ。だが、この時の武蔵には、まだそのことが分からなかった。
　不思議な苛立ちに包まれたまま、武蔵は山から山へと渡り歩いた。取り立てて目的があったわけではない。ただ、人に接するのが嫌だったのだ。元々人好きというタイプではない。それが都の人間の持って回った言い方、実体より格式、伝統を重んじるやり方に嫌悪感を覚え、ますます人嫌いになっていた。
　「扶桑第一の兵法者」を破ったのだから、仕官の誘いがあってもおかしくないはずだ。武蔵はそう踏んでいた。事実、当初の思惑通りに事が運んでいれば、数藩から声が掛かっていたに違いない。ところが耳に入る噂話は、
　「身の程知らずにも、田舎武士が憲法様に試合を申し込んだらしい。もちろん憲法様が負けるわけなどない。田舎武士は憲法様に眉間を打たれたが、柿色の鉢巻きで出血が見えなかったのをいいことに、自分の勝ちだと言い張っているそうだ。それならと憲法様が再試合を御提案なされたが、どこへとやらへ隠れて二度と出てこないそうだ」
　と、いう類のものばかり。これでは武蔵ならずとも腐って当たり前だ。どうやら吉岡側の逆宣伝に負けたものと思える。名門と田舎武士、京八流の流れを汲む鬼一法眼流と無名の流派、「室町幕府兵法所」の看板と「播州赤松の末」というほかには出自不明確な男……。これでは信用せよという方が無理か。
　「京都は旅行で来るにはいい町だが、住むと退屈する」と言ったのは夏目漱石だ。この町では、時間がゆっくり流れる。この流れる時間の遅さが余所者には排他性として働く。武蔵が破れたのは吉岡一門ではなく、京という町にほかならなかった。だが、武蔵は自らはそうとは知らずに、京で多くのものを学んでいた。それらが形になるには、後、数十年待たねばならないが。
　「江戸へ行こう」
　頭の片隅に残っていた、何か説明できぬモヤモヤを吹き飛ばしながら、武蔵は言った。数カ月に渡る山篭りで活力は十分だった。とにかく勝たねばならない。これがこの男の哲学である。いたって単純だ。ともあれ、この頃の武蔵は野望と自信でギラギラしていた。
　途中、伊賀の国にて鎖鎌の達人、宍戸某と試合し、これを打ち負かす。さらに播州国明石にて夢想権之助という兵法者と戦い、これを倒している。徐々に武蔵の名は上がってきた。播州では少しは名も知られてきた。この頃、武蔵は「円明流」の開祖を名乗っている。そればかりか「兵道鏡」なる円明流の兵法心得を著し、与えたりもしている。かなり自信を付けたと見える。ところが人はあまり自信を持つとろくなことがない。元々自信家の武蔵である。この頃には自信過剰といってよかったから、直のことだ。
　武蔵は再び「扶桑第一の兵法者」を目指した。扶桑第一の兵法者、つまり徳川将軍家の指南役である。すでにこの時、将軍家指南役には柳生宗矩と小野次郎右衛門忠明が付いていた。禄高は柳生が三千石、小野次郎右衛門が六百石である。武蔵はまず柳生に試合を申し込んだ。次いで小野次郎右衛門に。