イギリスではワーグマンよりも弟のテオドール・ブレイクが画家として有名になったのですが、弟の英語のウィキによれば、ワーグマン家の先祖は18世紀初頭の成功した銀細工師で、スウェーデンからロンドンに移民、祖父のトーマス・ワーグマン・アップジョンは、ドイツの哲学者カントについての著書をあらわしたそう。

「ワーグマンとその周辺」によれば、ワーグマンは1852年ごろパリで絵を学んだということ。そして陸軍に入隊して大尉を務めた後に退役し、「イラストレーテッド・ロンドンニュース」通信員として入社したそう。元軍人で記者ということで、来日したころはスパイかと疑われていて、横浜の税関では軍事探偵ではないかと監視していたということ。しかし、イギリス陸軍にはチャールズ・ワーグマンが在籍した記録が残っていないなど、不明な点が多いということ。

そしてワーグマンは、文久元年（1861年）4月25日に来日。最初に長崎に来航後、イギリス公使オールコックの一行に伴って、陸路を通って江戸まで旅行。ワーグマンの日本での最初の仕事は、オールコック公使の著書「大君の都」に挿絵を描くため、江戸までの旅に同行することだったということ。しかしオールコック公使自身も挿絵を描いているので、どれがワーグマンの作品かは明白ではないが、おそらくは村の娘、茶屋の娘、御高祖頭巾の女、医者などの肖像で、12葉の石版画であったよう。

そして文久元年（1861年）5月28日、イギリス公使館が置かれた東禅寺に、水戸藩浪士たちが襲撃。このときワーグマンは、縁の下に避難し、ローレンス・オリファント書記官が襲われて鞭で応戦、そしてモリソン領事が助けに入って斬られるところを床下から目撃していたので、実に生々しい現場の記事とスケッチを横浜から発信することに。

文久2年（1862年）、ワーグマンは特派員としての仕事の合間に、横浜の居留外国人向けの雑誌「ジャパン・パンチ」を創刊。もちろんこれはイギリスの風刺漫画雑誌であるパンチの日本版。この雑誌には、横浜外国人居留地の人々の暮らし、当時の日本政府である江戸幕府への批判、同業の英字新聞への攻撃などが、風刺漫画と文章であらわされていたということ。

ただしワーグマンも数々の歴史的事件に立ち会うわ、旅行はするわと大忙しだったため、創刊したものの、次の号は3年後の1865年に発刊され、以後22年間、月刊誌として170冊が刊行されることに。この中で描かれた人物は、仲間うちの写真家のフェリーチェ・ベアトや、書記官のアーネスト・サトウなど、日本人では三菱財閥の岩崎弥太郎などなど、見ればすぐにわかる顔が数多く描かれていて、居留地の出来事や人間関係、裁判の結末などが、ユーモアたっぷりに風刺されまくったそう。

最近、外国人にも熱烈なファンが増えまくっているという日本の漫画の元祖は、平安時代の「鳥獣人物戯画」と言われています。また、江戸時代には略画体でかわら版や狂歌の絵画版、または絵の中に諷刺や滑稽を描いていて、浮世絵の「鳥羽絵」も江戸時代に確立されたということで、日本にもユーモアや風刺は存在していたが、ワーグマンがジャパン・パンチで、社会風刺として時事的な出来事とそれにまつわるイギリス公使らの権力者の顔を、誰にでもわかるように茶化して漫画的に描くことに当時の日本人は驚いたそう。

そしてジャパン・パンチの名前から、ポンチ絵という言葉が生まれたということで、当時の日本人はジャパン・パンチから、西洋の言論や表現の自由、またイギリス特有の皮肉めいたユーモアで社会を風刺して一般庶民の憂さ晴らしをするというおもしろさを知ったわけで、やはりワーグマンも現代の日本の漫画にも影響を与えていると言えるのでは。

文久3年（1863年）ワーグマンは日本人女性の小沢カネと結婚。
イギリス公使館の書記官だったミットフォード、サトウ、ウィリスらも、この頃は日本人女性と同棲していたといい、子供が生まれたという話もあるのですが、正式に結婚したのはワーグマンだけなんですね。翌年長男の一郎が誕生したそう。

イギリス公使館の通訳官であった才気煥発で若いアーネスト・サトウは、来日半年で日本語ペラペラ、書道も習い薩摩弁も理解したという人でしたが、ワーグマンとも友達付き合いをしており、一緒に府中へ行ったときは川を渡るときに外国人を嫌がる渡し舟に強引に渡らせたり、大坂から江戸へ戻る東海道の旅をふたりで珍道中した様子なども、「一外交官の見た明治維新」に登場。

慶応3年（1867年）大坂でパークス公使らと別れた後、東海道を陸路で江戸へ向かう珍道中をすることに。ふたりは安い駕籠を調達し、護衛らと共に名産地ではお茶の飲み較べをしたり、掛川宿では日光例幣使の連中に襲われて命拾いをしたり、ワーグマンが画家ということが広まっていて、どこへ泊っても紙と筆が用意されていて、ワーグマンに何か描けと言われるようになりワーグマンの描いた絵にサトウが賛を書いたとか、可愛い少女の絵を描いてあげたら恥ずかしそうに喜んだとか、ワーグマンの服装が中国人っぽいものだったので、人々が中国人か西洋人か本気で疑問を持ったとか、芸者を呼んで護衛も交えてどんちゃん騒ぎしたりとか、江戸末期の平和でのどかな情景が目に見えるようで、サトウも楽しそうに書いていているのが、ワーグマンの飾らない人柄が垣間見えて面白いです。

実際、ワーグマンの記事が載ったイラストレイテド・ロンドンニュースはイギリスだけでなく横浜にも読まれていたので、ワーグマンは横浜居留地でも、社交的なワーグマンはウィットに富んだ楽しい人と人気者。三味線を弾くとか、日本語は、長州弁と薩摩弁を使い分けられたということで、漢字で「惑満」とサインしたりしたそう。

ワーグマンは、絵について本格的に勉強した画家ではなかったようですが、それでも油絵や水彩画などについて、明治9年（1876年）に工部美術学校が出来てお雇い外国人教師が来るまでの間、入門してきた日本人に教えたということ。

なかでも慶応元年（1865年）に入門した五姓田義松と、翌年に入門した、日本最初の洋画家といわれる高橋由一が有名で、ワーグマンから油絵を習い、「鮭」の絵で日本美術史に名を残したそう。また、最後の浮世絵師と言われる小林清親にもワーグマンは洋画を教えたと言われています。

明治20年（1887年)3月、ワーグマンは健康状態も良くなかったらしく、「ジャパン・パンチ」の最終号を発刊してイギリスに帰国することに。

ワーグマンの16歳年下の弟ブレイクは王室画家となり、今でもバッキンガム宮殿に彼の描いたヴィクトリア女王の肖像画が飾られているという成功した画家だということ。兄のワーグマンはイギリスに帰国してこの弟と一緒にロンドンで個展を開いたが、残念ながらあまり評判を呼ばなかったようで、失意のワーグマンは日本へ帰って、明治24年（1891年）、横浜で58歳で死去、横浜外人墓地に葬られたということ。

「イラストレーテッド・ロンドン・ニュース」ではワーグマンの訃報に際し、「日本人の生活や性格について彼以上に精通し、また過去30年間、日本で起こった変化について、彼よりも完全な記憶を持つ者は誰もいないだろう」という内容の長文の追悼文を掲載。

ワーグマンの命日の2月8日にはワーグマンの墓前で、毎年、横浜文芸懇話会が、「ポンチ・ハナ祭り」（ワーグマン祭）を開催しているということ