嘉永元年(1848年)、土佐沖の海岸防備のために父義平が藩の足軽として徴募されて城下の七軒町(現在の高知市相生町)に住み、以蔵も足軽の身分を継いだということ。

以蔵は小野派一刀流(中西派)の麻田直養(勘七)の道場で剣術を学び、武市半平太瑞山に出会い、師事するように。そして安政3年(1856年)9月、武市半平太が江戸に出るときに同行し、江戸3大道場のひとつであった桃井春蔵の道場士学館で鏡心明智流剣術を学び中伝に。

そして翌年9月、武市半平太と共に土佐に帰ることに。そしてやはり万延元年(1860年)8月に、武者修行と称して西国の情勢探索に出た武市半平太に従い、同門の久松喜代馬、島村外内らと共に中国から九州へ。しかし途中で以蔵の旅費の捻出が難しいという武市の配慮で豊後岡藩の藩士に、以蔵を滞在させてもらって江戸への随行を頼んだそう。

以蔵は武市と別れた後、岡藩で直指流剣術を学び、文久元年（1861年）5月には江戸へそして翌年4月に土佐に帰ったということ。文久元年（1861年）8月には、武市の結成した土佐勤王党に加盟したが、名簿の写しからは池内蔵太や弘田恕助と共に名前が削除されているそう。文久2年（1862年）6月、藩主豊範の参勤交代の衛士として武市らと共に京へ。

以蔵は武市が在京中の文久3年(1863年)1月、土佐を脱藩して江戸へ向かい、2月には高杉晋作のもとで居候になり、3月に高杉が藩の命で京へ赴くと以蔵も一緒に京に滞在したが、以蔵は酒色に溺れて同志から借金を繰り返すように。高杉晋作からも6両借金をして、土佐勤王党員の千屋菊次郎が代わりに返済するといった具合で、同志と疎遠に。一時期は、同郷の坂本龍馬の紹介で勝海舟の護衛をしたこともあったが、龍馬らにも見放されて無宿者となるほど身を持ち崩したということ。

そして元治元年(1864年)2月、以蔵は商家への押し借りの容疑で幕吏に捕えられ、土佐藩士と名乗ったが、土佐藩に否定されたため、無宿鉄蔵として5月に焼印入墨のうえ京洛追放処分に。しかし以蔵が追放になるのと同時に土佐藩吏に捕われて土佐へ搬送されることに。

この頃土佐藩では、吉田東洋暗殺と京洛での一連の暗殺に関して、土佐勤王党党首武市半平太を筆頭に土佐勤王党の同志が次々と捕らえられ、厳しい拷問や尋問に耐えていたが、以蔵は情けないほど拷問に泣きわめいたということで、師匠の武市に「以蔵は誠に日本一の泣きみそであると思う」と酷評されたそう。もちろんすぐに以蔵は拷問に屈し自分に課せられた罪状も、関与した同志の名前もすらすらと自白するようになり、以蔵の自白で新たな逮捕者続出など、土佐勤王党崩壊のきっかけに。

以蔵の自白でさらに逮捕者と粛清を呼ぶことを恐れた獄内外の土佐勤王党の同志たちは、以蔵に毒入りの食べ物を差し入れる計画まで。

ドラマや小説などでは、毒入りの食べ物が差し入れされたが、それを食べても以蔵は死なず、毒そのものを差し入れて自決を促したところ、裏切られたと思った以蔵がいっそう詳しく自白したという話になっているのですが、史料では武市半平太が強引な毒殺には賛同しなかったこと、以蔵に毒を飲ませることについて以蔵の親族の了承を得られなかったことで、結果として結審に至るまで以蔵の毒殺は実行されなかったと判明。また以蔵は自白を反省していた史料もあるということ。

そして前藩主容堂は、どうしても吉田東洋の暗殺を許せなかったため、罪状否認のまま、「主君に対する不敬」という曖昧な罪目で、慶応元年(1865年)閏5月11日に武市半平太は切腹、以蔵は享年28歳で打ち首、獄門に。

土佐藩の執政だった吉田東洋暗殺事件を捜査していた下横目（下級警官）の井上佐市郎を危険人物と見なした土佐勤王党は、、文久2年（1862年）8月2日に、井上を料亭大与に呼び出して泥酔させて、大坂の心斎橋上で、以蔵の他に久松喜代馬、岡本八之助、森田金三郎の4人で身柄拘束のうえ手拭いで絞殺して、遺体を道頓堀川に投棄したということ。尚、岩崎弥太郎も下横目として井上と同行していたが難を逃れたということ。

土佐の獄中でこの事件についての取調べもされたが、実行犯の1人の森田金三郎は黙秘を貫いたため生き残って戊辰戦争に参戦、明治後にこの話を語って「井上佐市郎暗殺一件」という記録となったそう。

越後国三島郡寺泊（現新潟県長岡市）出身の勤皇の志士だった本間精一郎は論客として清河八郎と親交があり、清河より先に上洛して薩摩や土佐に倒幕を説いたが、勝気な気性で論争に強く自分の実績を過大喧伝するところや、裕福な家の出身でもあったせいか態度が浮薄とされて各藩の志士から疎まれたそう。そして青蓮院宮と山内容堂との間で、攘夷督促勅使を巡る争いが持ち上がり、前者を推進する本間と後者を推す勤王党の間で対立が起きた、または本間が幕府と通じているのではないかと疑われたのが原因ということ。

「伊藤家文書」では、文久2年（1862年）閏8月20日、本間は料亭を酔っぱらって出たところを数人の男に取り囲まれて両腕をとられて刀と脇差をとられたが激しく抵抗、しかし脇腹を刺されて瀕死となりとどめを刺されて斬首。殺害後、遺体は高瀬川へと投棄されたそう。実行犯は以蔵のほかには、平井収二郎、弘瀬健太、島村衛吉、松山深蔵、小畑孫三郎、田辺豪次郎と薩摩の田中新兵衛。

前関白九条家の諸大夫の宇郷重国（うごう しげくに）官名、玄蕃頭（げんばのかみ）は、安政の大獄で、同じ九条家の侍臣島田左近と共に志士弾圧を行い、また和宮降嫁推進にも関わったということで、攘夷派志士に睨まれていたそう。

宇郷自身も同年7月21日の島田左近の暗殺後は、身の危険を感じて居所を転々としたが、文久2年（1862年）閏8月22日、九条家河原町御殿に潜伏中に発見されて寝所にいるところを、以蔵、岡本八之助、村田忠三郎、肥後の堤松左衛門が急襲。逃げようとしたが以蔵に斬り倒され、息子も堤が殺害。宇郷の首は鴨川の河岸に、槍に刺して捨札と共に晒されたということ。「官武通記」に記録されているが、実行犯として以蔵が疑問視される異説も。

安政の大獄時、九条家侍臣島田左近の手先として多くの志士を摘発した目明し猿の文吉（ましらのぶんきち）は、島田の高利貸しの手伝いも行って、法外な利益を得ていた事などで志士達から強く恨まれていたそう。そのため、文吉に天誅を加えたいと参加を希望する者が相次いだほどで、くじ引きによる人選をしたという話も。

そしてくじに当選した以蔵、清岡治之介、阿部多司馬が、（文久2年閏8月30日）夜、文吉を自宅から拉致して三条河原へ連行、裸にして河原の杭に縛り付けた上で、「斬るのは刀の穢れになる」と細い紐で絞殺し、竹棒で串刺しにするなどしてさらしたということ。文吉は高利貸しとして厳しい取り立てを行なっていたこともあって、京の民衆にも嫌われ遺体に投石する者もあったそう。また、この文吉のの捨札に「いぬ」と書かれたことから、権力者の手先として働く者を犬呼ばわりするようになった説も。

京都町奉行所与力の渡辺金三郎、大河原重蔵、森孫六、上田助之丞は、安政の大獄で長野主膳、島田左近らと共に志士摘発を行っていたので、宇郷や文吉の殺害後、標的にされるのを避けて京都から江戸へ転任する途中、石部宿まで来た文久2年（1862年）9月23日夜、30名を越す浪士の一団が宿場を襲って騒然とする中で4名ともに殺害。

捨札には、憂国の志士を多数捕らえ、重罪に処したことに対する天誅と書かれていたそう。この襲撃には、土佐、長州、薩摩、久留米の4藩の複数の志士が参加。武市半平太の「在京日記」には土佐からは12名参加と記されるも以蔵の名前がないが、以蔵も加わっていたとする見方も。

平野屋寿三郎、煎餅屋半兵衛は商人だが、文久2年（1862年）5月の勅使大原重徳東下の際に士分としてお供したときに収賄や横領などを行い評判が悪かったが、再び勅使に随行するというので、文久2年（1868年）10月9日に、朝廷の威信失墜を懸念した長州、土佐両藩の志士が団結して天誅を加えることに。

土佐は以蔵と千屋寅之助、五十嵐幾之助らが、長州は寺島忠三郎らが手分けして両人を連行し殺害しようとしたが、町人だし家族の助命嘆願で殺害せず、加茂川河岸にある木綿を晒す杭に裸にしたうえで縛り付けて、生き晒しに。

多田帯刀（たてわき）は、長野主膳の妾村山加寿江（かずえ、またはたか）の子で金閣寺の寺侍、やはり長野と共に安政の大獄で志士弾圧に加わったことで、文久2年（1868年）11月14日夜に島原遊郭近くの加寿江宅を浪士らが襲撃、就寝中を引き出して三条大橋のたもとに生き晒しに。翌晩、大家を脅して連れてこさせた多田を蹴上の刑場へ連行して殺害。首は粟田口に晒したということ。加寿江は3日3晩生き晒しに。

この襲撃には長州の楢崎八十槌、土佐の小畑孫三郎、河野万寿弥、依岡珍麿、千屋寅之助ら合計20名が参加したと言われていて、以蔵も加わっていたとされ、大正まで存命した依岡の語り遺しがあるが、この時以蔵は副勅使護衛の任務で江戸に滞在中で事件には関与していないことが判明しているそう。

元々は知恩院門跡に仕えた尊皇派の儒学者の池内大学は、条約勅許問題や将軍後継問題などで策謀を巡らせていたが、安政の大獄では自首したために比較的軽い罪になったそう。しかし尊攘派志士の目には幕府に寝返ったととられて、狙われる羽目に。大学は変名して大阪に潜伏中の文久3年（1863年）1月22日、大阪に来た土佐前藩主山内容堂の酒宴に招かれたが、その帰りを襲われて殺害のうえ首は難波橋に晒され、耳は脅迫文と共に同月24日、公家の正親町三条実愛、中山忠能の屋敷に投げ込まれたことで両公家は辞職に。

この事件は、関わったのは以蔵の名前だけで他に関わった正確な氏名も人数も不明ということ、または以蔵は関与していないという説も。

賀川肇は、公家千種有文の家臣で、安政の大獄では島田左近らに協力して志士弾圧に加わったために標的に。文久3年（1863年）1月29日、浪士が自宅に踏み込んできたときに賀川は二階で隠れていたが、帰宅した幼い子供が浪士たちに捕われ厳しい詰問を受けたため、自ら階下へ降りたところを斬首。

この事件は薩摩の人斬り仲間の田中新兵衛の犯行とされているが、以蔵も田中と共に加わっていた説と、播州姫路藩の萩原虎六らによるとする説もあるということ。

勝海舟の自伝「氷川清話」によれば、以蔵は坂本龍馬に頼まれて勝海舟の護衛を行ったとき、3人の暗殺者が襲ってきたが、以蔵が1人を切り捨て一喝すると残り2人は逃亡したということ。後日、勝が「君、人を殺すことをたしなんではいけない。先日のような挙動は改めた方がいいよ」と説教したが、以蔵は「先生はそうおっしゃるが、あの時私が居なかったら、先生の首は既に飛んでますぜよ」と。さすがの勝は「これには俺も一言もなかったよ」と苦笑いしたそう。

ジョン万次郎こと中浜家の家伝の「中浜万次郎 「アメリカ」を初めて伝えた日本人」（中浜博、2005年）によると、勝海舟が自分の護衛をした岡田の腕を見込んで万次郎の護衛につけたということ。

万次郎が、完成した自分の西洋式の墓を視察したときに、4人の暗殺者が万次郎を襲ったが、以蔵はその4人以外にも2人隠れていることを察知、万次郎にはむやみに逃げず墓石を背にして動かないように指示して襲ってきた2人を切り捨て、あとの2人は逃亡したという話があるが、中浜家の家伝では墓の完成は慶応の末なので、以蔵は慶応元年に処刑されているため時間的にあわないということ。