象二郎は乾退助（後の板垣退助）と幼馴染で、互いに「いのす」（猪之助、板垣のこと）「やす」（保弥太、後藤のこと）と呼び合う仲。そして喧嘩をしたときは、象二郎が蛇を苦手だと知っていた退助は、決まって蛇を持ち出して後藤を退散させ、象二郎は象二郎で潔癖症の退助に雲古を投げつけたという話も。

また柳河藩士の大石種昌に大石神影流剣術を学んだとか、相撲が大好きで、役人になってからも顔を隠して相撲大会に参加したとか、独自に開発したトレーニングで鍛えていたほどだという説も。

安政5年（1858年）、20歳のとき、叔父で執政の東洋の推挙で幡多郡奉行に。万延元年（1860年）9月、土佐藩の大坂藩邸建築のための普請奉行に就任。翌年、御近習目付となるが、2年（1862年）に東洋が暗殺されると解任。文久3年（1863年）に勉学のため江戸に出て、開成所で大鳥圭介に英語を学び、会津藩士高橋金兵衛に航海術を学んだということ。

象二郎は元治元年（1864年）に藩政に復帰。事実上藩政を執っていた前藩主山内容堂の信頼を得て大監察や参政に就任。公武合体派の急先鋒で、慶応元年（1865年）閏5月11日、大監察として叔父吉田東洋の暗殺の疑いが持たれていた、武市半平太瑞山ら土佐勤王等の面々の調べに成果を上げて、武市らの断罪を行ったことは有名。

象二郎は、吉田東洋が暗殺された後、その経済政策を受け継ぎ、山内容堂の強力な支援の元に土佐藩の産業を活発にし、 殖産興業や西洋風の科学教育振興のための総合的施設「開成館」を創立。経営にあたっては、保守派の反対をおしきって斬新な施策や事業を推進し、人材も登用。

象二郎は、物産の販売や対外貿易のための「土佐商会」（開成館の長崎出張所）の主任に岩崎弥太郎を登用。弥太郎は叔父吉田東洋の塾で学んだ有能な人物だが、郷士よりもさらに身分の低い地下浪人。この頃は土佐藩も能力重視で人材登用するようになったとはいえ、かなり画期的なことだったそう。

いろは丸事件は、慶応3年4月23日（1867年5月26日）23時頃に備中国笠岡諸島（現在の岡山県笠岡市）の六島付近の海上で、伊予国大洲藩所有で海援隊が借り受け、長崎港から大坂に向かう途中の蒸気船いろは丸と、長崎港に向かう紀州藩の軍艦明光丸が衝突し、いろは丸が沈没。

いろは丸に乗っていた坂本龍馬は万国公法をもとに紀州藩に対して賠償金を要求。5月15日に長崎で交渉が再開され、龍馬は航海日誌や談判記録をもとに万国公法で判断をと迫り、紀州藩側は長崎奉行所での公裁を仰ぐべきと反論、龍馬は「船を沈めたその償いは金を取らずに国を取る」と、紀州藩を批判した自作の俗謡を長崎の花街で流行らせたりと強気に交渉、紀州藩は龍馬ら海援隊との交渉を避けるようになり、土佐藩参政として象二郎が交渉を行ったということ。そして五代友厚が仲介に入ったことで、事故から1か月後に紀州藩が賠償金8万3526両198文で決着。

賠償金額は、現在の貨幣価値に換算すれば164億円に匹敵するそう。この事故は、蒸気船同士の日本初の衝突事故で、海難審判事故としても日本最初の事例。

尚、沈没したいろは丸の船体は1980年代に海底で発見されたが、龍馬らが主張していたミニエー銃400丁などの銃火器3万5630両分や金塊などの積み荷はまったく確認されず、紀州藩から多額の賠償金をせしめるための「はったり」だったのではということ。

賠償金は7万両に減額されたうえで11月7日に長崎で土佐藩に支払われた後、龍馬に支払われるはずだったが、8日後の11月15日に龍馬は暗殺で受け取れず。賠償金は海援隊の上部団体である土佐商会の後藤象二郎と岩崎弥太郎に流れ、その後明治になって土佐商会は大阪土佐商会から九十九商会となり、岩崎商会となったので、いろは丸事件の賠償金は三菱の基になっているのではということです。

慶応3年（1867年）8月7日、イカルス号の水兵殺害事件について、土佐藩船夕顔丸の船上で後藤象二郎とイギリスのパークス公使が談判。

パークス公使は得意の威圧的な態度をみせたが、象二郎は臆せずに流し、通訳のサトウもパークスをたしなめて態度をあらためたということ。翌8日、2回目の談判は、土佐藩側から後藤象二郎、佐々木三四郎、由比猪内、前野源之助、イギリス側から公使ハリー・パークスと通訳アーネスト・サトウ、被告側から野山伝太、寺田典膳、幕府側から設楽岩次郎が出席したが、この談判でイギリス側は態度を軟化、海援隊士犯人説は風説にもとづくため、再び長崎で調査をおこなうことで合意。

尚、このイギリス公使パークスらの土佐訪問は、土佐藩と親密になりたいというイギリス側の希望もあり、象二郎のすすめでサトウは前藩主山内容堂にも会ったということ。

象二郎は前藩主山内容堂に京に呼ばれ、長崎から土佐藩船「夕顔丸」で出向、共に乗船していた坂本龍馬から大政奉還の元になる、政治綱領の船中八策を提示されたそう。容堂は京から帰郷して土佐にいたので、象二郎は在京土佐藩首脳陣に、船中八策と大政奉還論を解いて賛同を得、薩摩藩の西郷隆盛、小松帯刀、大久保利通と会談、「薩土同盟」を締結。

そして象二郎は土佐に帰って容堂を説得して大政奉還論の賛同を得ましたが、容堂は象二郎が兵を率いて京へ上るのを許さなかったこととイカルス号事件の交渉に時間を取られた事で、「薩土同盟」は解消に。

象二郎は、薩土同盟解消後も京都の薩摩藩、芸州藩、幕閣の永井尚志、老中板倉勝静にも、将軍慶喜に伝えるように説得して根回しに走り回りました。そして将軍慶喜は、慶応3年（1867年）10月14日、二条城に諸大名を集めて大政奉還を行い、薩摩の小松帯刀の提案で象二郎、芸州藩家老の辻将曹の3人がその後に慶喜の前に出て、宮中に参内して報告するように進言したということ。これらの功績で象二郎は、中老格700石に加増、役料800石を合わせて計1500石に。

象二郎は龍馬の名前を出さずに建白書の案をだしたのですが、自分の手柄にするということではなく、龍馬の身分では前藩主容堂にも用いられないために龍馬も承知のうえだったということ。

慶応4年（1868年）象二郎は明治天皇との謁見に向かうパークス一行の護衛を勤め、パークス暗殺を計画して斬り込んだ浪士と抜刀して斬り合い、そのうち一人を討ち取りました。この事件の功により、中井弘と共にイギリスのヴィクトリア女王から恩賜の刀を贈られたということ。

この頃は、備前岡山藩兵が神戸で外国人に発砲した神戸事件（備前事件）、土佐藩兵が泉州堺でフランス人水兵を殺傷した事件が立て続けに起こった頃、象二郎のおかげでパークス公使らは難を逃れたのですね。

尚、明治後に後藤新平が、あのヴィクトリア女王の恩賜の刀を見せてくれと言ったとき、どこかへしまったとすっとぼけて見せなかったということで、応接間にトロフィーとか記念品を飾るようなことはしない人だと感心されていたようです。

中岡慎太郎によれば、「今日、天下の人物の力量において西郷隆盛と後藤象二郎に並ぶ者はいない。西郷は日に15里歩くと言えば間違いなく15里歩いてみせる。後藤は自ら20里歩くと言いながら実際には16里しか歩かない。だから言葉をすべて信じる訳にいかないが、それでも西郷と比べれば確かに１里だけ多く歩く。」

イカルス号事件についてパークス公使と話し合いをした後、象二郎は怒鳴り散らして威嚇するパークスの態度について通訳のサトウに、ああいう態度はいかん、いつか問題を起こすという意味のことを言うと、サトウも、私もそう思うが、あなたの口から注意してくれませんかと言ったということ。

そこで次の会談のあと、象二郎は、前回のパークスの態度に対して少々くどくあけすけに、乱暴な言葉について忠告し、他の者なら自分みたいにおとなしく聞かなかったろうといさめたそうで、それをサトウはひやひやしながらパークスに通訳、しかしパークスは忌々しいと思いつつ、癇癪を抑えて聞いたそう。

サトウに言わせれば、象二郎はそれまで会った日本人の中で最も物分かりの良い人物で、パークス公使も大いに気に入り、ただ西郷隆盛だけが人物として一枚上だと回想録に。

二条城での大政奉還の日、薩摩、土佐、芸州、備前、宇和島の代表が居残り慶喜と膝詰め談判が行われたとき、象二郎は緊張のあまり大汗をかき、それを側で見ていた桑名藩主の松平定敬は、あまりに緊張した様子を「成る程、額・首筋の流汗は甚だしかりき」と述べ、後で同僚たちと「後藤の汗咄し」を噂し合ったという話。
象二郎は将軍の家臣である大名の山内家の家臣で陪臣、将軍に直接お目見えできる身分ではないので、かなり緊張したのかも。

立憲政治視察のため板垣退助と渡欧した明治15年（1882年）から16年（1883年）の間に、ヴィトン本店で板垣の為に鞄を購入。当時の顧客名簿の購入者欄に象二郎の名が残っているそうで、象二郎が購入して板垣が愛用したルイ・ヴィトンの鞄は、高知市立自由民権記念館に現存。

しかしルイ・ヴィトンの日本人として最初の顧客は象二郎ではなく、それより5年前の1878年の鮫島尚信（在仏特命全権公使）と中野健明（一等書記官）ということ。

江藤新平が佐賀の乱を起こしたとき、大久保利通は捜査に江藤の写真を用いようとしたのですが、象二郎が江藤の写真を持っていることがわかり、警視庁から江藤の写真の提出を頼まれました。しかし象二郎は、「友人を縛する手掛かりに、おれの記念せる写真を差し出せとは真平御免なり。如何なる処分でも仕切るというのなら勝手にするがよい」と一喝。写真の提出を拒否し、江藤逮捕の後は、 副島種臣や板垣退助らと共に、自分の功績と引き換えに江藤の減刑を政府に訴えたということ。

明治新政府樹立後、紙幣貨幣全国統一化に乗り出したとき、岩崎弥太郎は、各藩が発行していた藩札を新政府が買い上げることを事前に察知し、10万両の資金を用意して藩札を大量に買占め、新政府に買い取らせて莫大な利益を得たということ。この情報を流したのは、なんと新政府の高官となっていた象二郎。

その後、象二郎の娘と弥太郎の息子の結婚で両家は親戚に、弥太郎は最初から政商として暗躍し、後に三菱財閥を築いたのは有名ですが、いろは丸事件の賠償金といい現代では出来ないことですよね。

象二郎は、ある時賃借事件の為に訴えられて、法廷に召喚して証言台に立ったときの話で、象二郎の履歴調べとして、「参議を免ぜられたのは、何年何月か」と聞かれて、簡単に、「記憶せず」と返答。原告は「そのような一生涯の大事を記憶していない理由はないだろう」と詰め寄ったところ、象二郎はたちまち威丈高になって「不肖この象二郎は、維新前は土佐藩の家老だった者だ。靴磨きとか、草履取りの分際で成り上がった出来星紳士ならば、参議になったことを大事件として後生大事に記憶しているだろうが、自分はそんな小さい人間ではない」と言い、その後はペラペラと散々に相手をからかってバカにしたので、原告は激怒のあまりに声を失ったということ。

象二郎が、政治活動と遊びで借金がかさんで破算しそうだと聞き、幼友達で親友の板垣退助が必死に金の算段をして届けると、象二郎は料亭で豪遊していたという話。また、勝海舟も何とか助けようと思って、密かに象二郎の借金の額を調べさせたが、あまりに桁外れなのを知って、アジアには太すぎる動物と言って驚きあきれたそう。陸奥宗光も「後藤は外国帝王の風姿度量を備えている」と語るなど、周囲が困惑するほどの素行だが、憎めない人物だったということ。

象二郎は、汽車で井上馨と乗り合わせてお互いの抱負を語り合ったことがあり、井上が「我は数千萬円の財を造って見たし」と語り、象二郎は「我は数億円の借金がしてみたし」と答えたそう。