渡辺家は三河国田原藩1万3千石の上士の家柄で代々100石の禄だったが、父定通が養子であることから15人扶持（石に直すと田原藩では27石）に削られたうえ、藩の財政難で減俸となり、実収入は12石足らず。そして父定通が病気がちで医薬代がかさみ、崋山の下に7人の弟妹が、老祖母もいたということで、幼少期は極度の貧窮で日々の食事にも事欠いて、弟や妹は奉公に出されたそうで、崋山が幼年時代を振り返って壮年期に「退役願書之稿」に詳しく書き著したことが、太平洋戦争以前の修身の教科書で忠孝道徳の模範となったということ。

崋山は少年の頃から家計を助けるため得意の画を描いて売り、生計を支えたそう。崋山は、のちに谷文晁に入門、絵の才能が大きく花開いて、20代半ばにして画家として著名に。また学問にも励み、田原藩士の鷹見星皐から儒学（朱子学）を学び、18歳になると昌平坂学問所で佐藤一斎、のちには松崎慊堂から教えを受けたということで、佐藤信淵からも農学を学んだということ。

崋山は、8歳で藩主三宅康友の嫡男亀吉の伽役となったが、亀吉は夭折、その弟元吉で後の藩主三宅康明の伽役となり、藩主康友に目をかけられる存在だったということ。13歳の頃、藩の儒者鷹見星皐（せいこう）につき、後に当代一流の儒者佐藤一斎や松崎慊堂（こうどう）について朱子学や陽明学を勉強。

そして16歳で正式に出仕し、納戸役や使番など、藩主に近いところで役目をこなすように。文政6年（1823年）、30歳のときに田原藩士和田氏の娘たかと結婚、文政8年（1825年）、父の病死で32歳で家督を相続、80石の家禄を継承し、翌年取次役となったそう。37歳の時、藩主である三宅家の家譜編集に任じられ、江戸藩校の総指南役となり、45歳になると藩主の後継ぎの師範に。

文政10年（1827年）、藩主康明が28歳で病死したために、藩首脳部は貧窮していた藩財政の打開策もあって、当時比較的裕福な姫路藩から養子を持参金付きで迎えようと提案。崋山は強く反対して用人真木定前らと、亡くなった藩主康明の異母弟である友信を藩主に推したが、結局は藩上層部の意思が通って姫路藩主酒井 忠実（ただみつ）の6男の康直が養子となって藩主に。

このために崋山と、友信は一時自暴自棄に酒浸り生活に。崋山はその後気を取り直して藩首脳部と姫路藩酒井家と交渉し、将来的に三宅友信の息子で後の三宅康保と、新藩主康直の娘を結婚させて次の藩主にすると約束させたということ。藩首脳部は、友信に前藩主の格式を与えて巣鴨の別邸で優遇処置をとったため、友信も気を取り直したということ。

そして崋山は、側用人として親しく友信と接して、崋山が希望した蘭学書の購入に資金提供することもあり、崋山の死後、明治14年（1881年）に崋山の伝記「崋山先生略伝補」を著したそう。尚、酒井家から来た新藩主康直も画家酒井包一が大叔父にあたるせいか、画才もあり学者でもある崋山と仲が良かったという話も。

天保3年（1832年）5月、39歳の崋山は田原藩の年寄役末席（家老職）に就任し、藩政改革に着手。家格に関わらず優秀な藩士の登用、士気向上のため格高制を導入して役職を反映した俸禄形式を採用、これによって支出の引き締めにもなったということ。また、農学者大蔵永常を田原に招聘、殖産興業として、稲作の技術改良と、鯨油を使った稲の害虫駆除法が成果を上げたということ。そして当時諸藩を見習って商品作物の栽培で財源作りのため、サトウキビの栽培（これは失敗）、ハゼ、コウゾの栽培、蝋絞りの技術、土焼人形の製造法なども伝えたそう。

天保7年（1836年）から翌年の天保の大飢饉の際には、あらかじめ食料備蓄庫（報民倉と命名）を築き、手引書の「凶荒心得書」を著して家中に綱紀粛正と倹約の徹底、領民救済の優先を徹底させることなどで、病中だった崋山は領地の田原には行かなかったが、信頼する田原藩士真木重郎兵衛や、蘭医鈴木春山、生田謙吉、農政家大蔵永常らを差し向けて、貧しい藩内で誰も餓死者を出さず、そのために全国で唯一幕府から表彰を。

また、崋山は本来は開国論で鎖国には反対の立場だったが、藩の助郷免除嘆願のために海防政策を口実として利用して幕府や諸藩から海防への取り組みを高く評価されたそう。

華山は、年少の頃から画を描いて売り生計を支えましたが、よほど上手でなければ売れないはず。崋山は最初は、大叔父の平山文鏡に手ほどきを受け、次に白川芝山に師事、しかし付届けが出来ず破門に。17歳のときに崋山の父がつてを頼ってくれたため金子金陵に弟子入り、崋山は眼をかけてもらい力をつけ、そして金陵の師の谷文晁にも習ったということ。文晁は文人画家としての手本となり、様々な系統の画派を広く学んだそう。

天保6年（1835年）、崋山の画家友達の滝沢琴嶺（興継）が亡くなったため、葬儀の場で琴嶺の父である戯作者の曲亭馬琴が息子の肖像画の作成を依頼。当時の肖像画は本人が亡くなって後に描かれるものが多く、画家は実際に実物を見ず、よく知る人に話を聞いたり、思い出しながら描くものだったが、崋山は、なんとその場で棺桶を開けて琴嶺を覗き込んで素描、そして死顔に直接触れて骨格を確かめたと馬琴が「後の為の記」に記したそうで、当時の価値観から逸脱した行動ということ。

崋山は、親戚の平山文鏡、谷文晁らの一流画家に師事して才能を開花させ、20歳の頃からは絵画を教えたり、画を売って家計の助けとしたが、江戸市中で書画会を開いて、著名な文人墨客と交わり画名を上げたということ。南画に独特の描線と洋画の立体感を取り入れた、人物画、花鳥画、山水画、俳画、素描と多彩な名品のなかには、国宝「鷹見泉石像」（肖像画）から、美人画の「校書図」市民生活を描いた「一掃百態図」などの重要文化財の傑作も多数。

また人気のあった崋山の肖像画は、西洋画の影響を受けて陰影を巧みに用い、写実的な表現にこだわった独自の画法を確立。代表作に、「佐藤一斎像」「鷹見泉石像」「市河米庵像」「一掃百態図」など。文人としては随筆紀行文である「全楽堂日録」「日光紀行」など。そして、平井顕斎（けんさい）、福田半香、椿椿山、山本栞谷（きんこく）、井上竹逸ら多くの弟子を育てたそう。

天保9年（1838年）モリソン号事件について、崋山、高野長英は幕府の打ち払い政策に危機感を持ったため、崋山は「慎機論」を書いたが、これは幕府の海防を批判しつつ海防の不備を憂えると論旨一貫しないうえに、モリソン号についての意見も明示せずに幕府高官に対する激越な批判というまとまりのない文章、それに田原藩の高官という立場もあり、「戊戌夢物語」を著した長英のように匿名で発表ができないため、草稿のまま放置していたということ。しかし約半年後、蛮社の獄が起こり、崋山の家が家宅捜索されたときにこの草稿が断罪の根拠にされることに。

蛮社の獄は、幕府の保守派であった目付の鳥居耀蔵（ようぞう）と、蘭学者江川英龍との確執が原因という説と、鳥居が「戊戌夢物語」の著者の探索を口実にして、「蘭学にて大施主」と称された崋山を、町人たちともに「無人島渡海相企候一件」（当時無人島だった小笠原諸島へ行く夢のような渡航計画）として断罪、鎖国制度を堅固にするための見せしめ的に弾圧されたという説があるということ。

とにかく天保10年（1839年）5月に鳥居は江川とその仲間を罪に落とそうとして、崋山や高野長英らを摘発。老中水野忠邦がかばったために江川英龍は無事、崋山は取り調べで無実の罪とわかったが、奉行所が何が何でも罪を問いたいと家宅捜索の際に発見した未発表の「慎機論」を問題にして、陪臣（ばいしん、将軍から見て家来の藩主のそのまた家来の位置）にあるまじき幕府の方針を批判したということで、国元の田原で蟄居に。

崋山には有力者の知人が多くいたはずが、一斉に崋山との無関係を主張するようになり、崋山のために助命に奔走したのは絵画の弟子たちなど無名の知人がほとんどだったということ。

天保12年（1841年）、崋山は領地田原の池ノ原屋敷で謹慎生活を送っていたが、藩政の前途を案じて真木重郎兵衛らの藩内の同志と連絡を取っていたことが、藩の実権を握る守旧派に反感を持たれていたそう。

そして崋山一家の貧窮ぶりをみた弟子の福田半香が、江戸で崋山の書画会を開いて代金を生活費に充てることにしたが、謹慎中の身が生活のために絵を売ることについて幕府で問題視されたとの風聞が立った、または守旧派が近く藩主が問責されるとの噂を流したという説もあり、崋山は藩主に責任が及ばないように、「不忠不孝渡辺登」の遺書をのこして切腹、享年49歳。

尚、藩内の反崋山派のために、崋山の死後、息子の渡辺小崋が家老に就任した後も、崋山の墓の建立が許可されなかったということで、幕府が崋山の名誉回復と墓の建立を許可したのは27年後の慶応4年（1868年）3月ということ。