象山が元服のときの烏帽子親は窪田岩右衛門馬陵恒久で、藩儒を務めて、象山の才能を高く評価した人物。象山は文政7年（1824年）、藩儒の竹内錫命に入門して詩文を学び、文政9年（1826年）には佐藤一斎の門下生の鎌原桐山に入門して経書を学んだうえ、同年、藩士の町田源左衛門正喜に会田流の和算を学び、象山は数学を「詳証術」と称したそう。また水練（水泳）を河野左盛から学んだが、象山に最も影響を与えたのは鎌原桐山だったということ。

文政11年（1828年）、父の隠居で家督を継ぎ、天保2年（1831年）3月、藩主真田幸貫（さなだゆきつら、松平定信の息子）の世子真田幸良の近習、教育係に抜擢。しかし象山は高齢の父への孝養ができないと5月に辞任。藩主幸貫は象山の性格を把握し、癖があることを知りつつ才能は高く評価していたそう。象残は20歳で漢文100篇を作って鎌原桐山に提出、桐山ばかりか藩主幸貫も学業勉励と評価されて銀3枚が下賜。

天保3年（1832年）4月11日、象山は藩の長老に対して不遜な態度があったとされて藩主幸貫に謹慎、閉門を命じられることに。これは3月に行われた武芸大会で、象山が父国善の門弟名簿を藩に提出したときに、序列に誤りがあるので改めるように注意されたのに象山は絶対に誤りがないと自説を曲げなかったため、年長者に対して不遜であると藩主幸貫の逆鱗に触れたのが理由で、この閉門中に父国善の病が重くなり、藩主幸貫は8月17日付で象山を赦免、父国善はその5日後に死去。

天保13年（1842年）、象山が仕える松代藩主真田幸貫が老中兼任で海防掛に就任後、象山は顧問に抜擢、アヘン戦争での清とイギリスについてなどの海外情勢を研究することに。象山は、蘭学者の箕作阮甫（みつくりげんぽ）らに西洋事情を聞き、魏源「海国図志」などを元に「海防八策」を上書。この頃の象山の西洋知識は、西洋に関する訳書を読んだほかは、すべて蘭学者からの耳学問だったので、この機会に蘭学の修得の必要に目覚めたそう。

そして藩主幸貫から洋学研究の担当者に命じられた象山は塾を閉じて、江川英龍の下で兵学を学び、次いで幕臣の砲術家下曾根金三郎（しもそねきんざぶろう）にも砲術の知識を求めたということ。

江川英龍などに習ったのは初歩的なものですでに古くなっていたせいもあり、象山は西洋砲術を中心に科学技術への関心が高まり、蘭学を本格的に習得することを痛感、弘化元年（1844年）象山は33歳で、蘭学者の坪井信道（つぼいしんどう）を訪れたときに、オランダの砲術書を贈られたのを切っ掛けにして、オランダ語学習を決意。

坪井信道に相談したところ、信道は塾頭で、高島秋帆や緒方洪庵に指導を受けたこともある黒川良安を推薦、象山は良安を私塾に招いて同居、良安にオランダ語を学ぶかわりに良安に和漢の学を教えたということ。
象山は2か月ほどでオランダ語の文法を覚え、約2年でほとんどオランダ書を読解できるまでになったということ。

象山は、オランダ語勉学の最中の弘化元年（1844年）の春、「ショメール百科全書」16冊、藩に願って40両で入手。この百科全書を元に象山は、技術的な実験をはじめ、数か月後にはガラスの製造をはじめ、舶来品に劣らぬ玻璃を作ったそう。
そして象山は、藩の郡中横目役（郡奉行に次ぐ役職）に命じられ松代に帰藩、そのときに原書で研究した馬鈴薯（じゃがいも）の栽培法を持ち帰り、また江戸で飼っていた豚を連れて帰って繁殖させ、そのほかにも石灰の製造、硝石の精製、ぶどう酒の醸造と、応用科学なども生かして殖産興業に尽くすことに。

また写真機、望遠鏡。電気医療器、地震予知器の開発に製造、嘉永3年（1850年）には、松代で、わが国はじめての電信実験に成功、のちには種痘の実施、コレラの予防などの医学に関する研究も熱心に行なったということ。

象山は蘭学研究の動機でもあった砲術を中心に、兵学の研究に力を入れていて、嘉永元年（1848年）幕府の命令で、オランダ人ベウセルの原書を読んで、3斤野砲地砲1門、12拇野（ドイム）戦人砲2門、13拇天砲3門を鋳造して、松代郊外で試演。翌年、オランダの「歩兵操典」をもとにして、西洋流の隊伍教練も行ったそう。
嘉永4年（1851年）には、再び江戸に移住して木挽町に「五月塾」を開塾、砲術、兵学を教えるようになり、豊前中津藩士が71人も入門したり、後の勝海舟、吉田松陰、河合継之助、橋本左内、山本覚馬（新島八重の兄）、坂本龍馬らが続々と入門。 嘉永6年（1853年）、ペリーの黒船が浦賀に来航、象山は藩の軍議役として浦賀を訪れたが、象山の報告は老中阿部正弘に「急務十条」として奏上、また象山は門弟の松陰に暗に外国行きを勧めることに。

嘉永6年（1853年）勝海舟の妹順子（じゅんこ）と結婚

嘉永7年（1854年）44歳のとき、象山の門弟だった吉田松陰が再来航したペリーの艦隊で密航を企て、失敗して自首する事件が勃発、松陰から相談をもちかけられた象山もこの事件に連座、伝馬町牢屋敷に入獄。

象山を知る川路聖謨（かわじとしあきら）が罪を軽くするために老中阿部正弘に運動した結果、文久2年（1862年）まで9年の間、松代で蟄居させられることに。この間、松代の象山の元に、高杉晋作、久坂玄瑞、中岡慎太郎、石黒忠悳らが面会に訪れて、時世について激論したということ。

文久2年（1862年）、象山を自藩に招聘したいと考えた長州藩主毛利慶親、土佐の前藩主山内容堂が、象山の赦免を幕府に働きかけを行なった結果、同年暮れに幕府は象山の蟄居をといて自由の身に。そして元治元年（1864年）3月、尊王攘夷派をおさえるために開国論者の象山を利用しようとした一橋慶喜の推薦で、京都滞在中の将軍徳川家茂から象山に上洛命令が。

象山は、3月29日に上洛、将軍家茂、慶喜に公武合体論と開国論を説いて、山階宮、中川宮、それに公家たちから、西郷隆盛、桂小五郎（木戸孝允）らの薩長の志士らと接触、西郷は「学問と見識においては佐久間抜群のこと」と、かなり敬服した手紙を大久保利通に送り、その後も象山の意見をきいていなければ意外な失敗をしたかもと人に語ったそう。

象山は約3か月の間奔走したが、当時の京都は池田屋の変が起き、禁門の変の直前でもあり、尊皇攘夷派の過激な分子が横行している最中で、白馬に真紅の西洋鞍でまたがり、堂々と供もつれずに往来を行く象山は、西洋かぶれという印象を持たれ、7月11日、三条木屋町で前田伊右衛門、河上彦斎（げんさい）らの手にかかり暗殺、享年54歳。昭和13年（1938年）には松代に象山神社が創建。

象山を暗殺した河上彦斎は、人斬り彦斎と呼ばれた人でしたが、後に象山の事歴を知って愕然として暗殺をやめたという話が。

象山の門下生によれば、象山は5尺7寸か8寸(約175㎝）の長身で、筋骨逞しく肉付きも豊かだったということで、写真を見ても眼光鋭く日本人離れした顔つき。

ペリーが軍艦七隻を率いて再来航したときのこと、幕府は横浜に応接所を設け、松代藩は小倉藩とともにその警備にあたり、象山は藩の軍議役で陣屋に詰めていたのですが、ペリーが陣屋の前を通り象山の前にさしかかると、象山に向かって軽く会釈したということで、当時海岸防禦御用掛だった川路聖が驚いて、「日本人でペリーから揖拝（ゆうはい、お辞儀のこと）されたのは貴公のみだ」と言った話あり。

藩公の真田幸貫は、21歳の象山を跡継ぎの幸教の近習と教育係に抜擢したとき、「わが家臣のうち、ずばぬけた逸材は啓之肋（象山）。将来どんな人物になるか楽しみだが、その性格は駻（かん）が強すぎるきらいがあり、この難物を馭しうるものは自分のほかあるまい」と言ったそう。

また幸貫は、「修理（象山）はずいぶん疵の多い男だが、天下の英雄」とも。この話を聞いた象山は感激して、「天下の英雄」はほめすぎだが、「疵の多い男」はそのとおりだと恐縮し、「私が師と仰ぐのは幸貫公のみ」と終生語ったそう。

妹の順子と象山が結婚しているので義兄でもあった海舟は、象山について「顔つきからしてすでに一種奇妙なのに、平常緞子（どんす）の羽織に古代模様の袴（はかま）をはいて、いかにもおれは天下の師だというように厳然とかまえこんで、元来勝気の強い男だから、漢学者がくると洋学をもっておしつけ、洋学者がくると漢学をもっておどしつけ、ちょっと書生がたずねてきても、じきに叱りとばすというふうで、どうも始末にいけなかったよ　あれはあれだけの男で、ずいぶん軽はずみの、ちょこちょこした男だった。が、時勢に駆られたからでもあろう」と、後に語ったそうですが、象山先生とちゃんと敬称を付けていたという話も。

佐藤一斎塾で象山と同門で陽明学者の山田方谷（ほうこく）は、象山と論争すると常に方谷が論破したそうで、その後、方谷を訪ねた河井継之助には、「象山には温良恭謙譲の一字の何れもない」と語ったそう。これは孔子の5つの徳である、温（おだやか）良（すなお）恭（うやうやしい）謙（つつましい）譲（ひかえめ）のことで、初対面なのに、「封建の世において、人に使われることができないのは、つまらないもの」と、河合継之助が象山に似ていると、将来を憂慮したとされています。

嘉永4年（1851年）、象山が松前藩の依頼で鋳造した洋式大砲の演習を江戸で行ったとき、砲身が爆発、大砲は全壊して大失敗。観衆は大笑い、立ち会いの松前藩の役人達には「鋳造費用が無駄になった」と責め立てられたが、象山は謝るどころか「失敗するから成功がある」と述べ、「今の日本で洋式大砲を製造できるのは僕以外にいないのだから、諸大名はもっと僕に金をかけて（大砲の）稽古をさせるべきだ」と豪語、役人達を呆れさせた話が。

「大玉池 砲を二つに 佐久間修理 この面目を なんと象山」は秀逸な落首。

象山の一人息子の佐久間恪二郎は、父象山と共に上洛したが、父が暗殺されたため、父の門弟の会津藩士山本覚馬のすすめで仇討のために三浦啓之助と名乗って新選組に入隊、局長近藤勇の近習として優遇されるが、父譲りの傲慢さで素行が悪く脱走。

慶応4年（1868年）、伯父の勝海舟の紹介で慶應義塾に入学、維新後は象山の息子であることを利用して司法省に出仕したが、警察官との間に暴行事件を起こして免職に。そして松山県裁判所で裁判官になるものの、31歳の時に食中毒で亡くなったということ。

象山の読み方が、しょうざんか、ぞうざんかで、昔から論争があります。
地元ではぞうざんと呼ばれている理由は、象山の浦町の生家の西南に小さな丘陵があり、その姿が象が臥せた姿に似ていると、地元では象山（ぞうざん）とよんでいるので、象山の雅号はこの象山とかかわりがあるとされているそう。
象山本人は「象山説」という文のなかで、この雅号の山来は宋の哲学者陸象山（陸九淵）からではなく、故郷の象山にちなんだと書いているが、読み方については説明していないということ。