「ある英国外交官の明治維新」ヒュー・コータッツィ著によれば、ミットフォードの父はイギリス外交官として一時イタリアのフィレンツェに勤務したが結婚で退職。しかしミットフォードが3歳のときの1840年に両親は離婚して母は再婚。

ミットフォード父子は、イギリスより生活費が安いとして1840年から42年までフランクフルト、ミットフォードがイートン・カレッジ入学の46年までパリで生活。
ミットフォードは、イートン・カレッジを1854年に卒業し、奨学金を得てオックスフォード大学クライスト・チャーチ校で学び、次席優等学位を授与、外務省書記官に任命される推薦枠を手に入れたそう。

サトウやウィリスは外交官試験を受けていましたが、ミットフォードはイギリス外務省のいわゆるキャリア枠で、外務省と外交部門は別組織として、選別試験でなく推薦、また外交官になるためには個人収入が欠かせない条件という時代だったそう。

ミットフォードは1858年に外務省に入省、ダウニング街のアフリカ（奴隷貿易）局での最初の仕事は、コピーのない時代、ひたすら筆写だったといいうこと。2年後には重要できつい仕事であるフランス局に移り、やはり重要書類を筆写の日々。1863年、ミットフォードはロシアのサンクトペテルブルクのイギリス大使館三等書記官に、半年間交代で勤務。ロンドンに帰任の途中、モスクワに旅行。そしてロンドンに帰任後、トルコ帝国のコンスタンチノープルに公式文書を届ける任務を行ったりしたそう。その反面、ミットフォードは、社交界にも出入りして華やかな生活でエドワード皇太子とも親しくなったということ。

1865年のある日、外務次官がフランス局を訪れ、北京公使館に派遣する人員がいなくてという話を聞いたミットフォードは即座に志願して、2週間も経たない間に出発。北京は夏も冬も厳しい気候だったが、ミットフォードは中国語を学び、東洋美術に関心を持ったということ。

そして一年半後、日本への転任命令が来て日本へ。
尚、日本へ転勤理由について、ミットフォードは当時の北京駐在のイギリス公使だったラザフォード・オールコックの義理の娘エイミー・ラウダーと恋愛関係となったが、オールコックは社会的に不釣合いとの理由で結婚に反対、2人を引き離すためにミットフォードを日本に転勤させた説あり。ミットフォード家は美男美女の家系らしく、若いときのミットフォードはかなりイケメンっぽいし貴族だしもてもてだったかも。

慶応2年（1867年）2月、徳川慶喜が将軍に就任し、大坂城で各国公使に謁見することになり、ミットフォードはサトウと共に、その下準備のために大坂に派遣。実際は京都での政治情報の収集で、ミットフォードはこのときに明治維新でお馴染みの人物たちと出会ったということ。

そして4月29日にイギリス公使パークスは将軍慶喜と非公式会見を行い食事までご馳走になり、かなり色々話をしたそう。「英国外交官の見た明治維新」によれば、慶喜は壁にかかった絵を興味深そうに見ているパークス公使に、気に入ったのを一枚差し上げると自ら外したが、一連揃ったものを一枚もらうわけにいかないというと、「そこにあった絵が今はイギリス公使のところにあると思うと嬉しい」と言ったので、ミットフォードはいたく感動したよう。そして正式な謁見は5月2日に。イギリス外交団は大坂に約5週間滞在し、日本の実情に触れた後、サトウとワーグマンは陸路東海道珍道中、ミットフォードは海路江戸に。

「英国外交官の見た明治維新」によれば、この頃、ミットフォードに転勤の話が持ち上がったが、最も興味深い時期にこの国を離れるのは不本意で、重要な政治的事件を見逃すことになると本国に書いて送ったそう。

そして、安政の条約では新潟が開港予定地だったが、貿易港としては適さないため代替地として七尾が候補となり、ミットフォードはパークスやサトウと共に、箱館、新潟を経て、8月7日に七尾に到着。

その後パークスは長崎経由で海路大坂へ向かったが、ミットフォードとサトウは8月10日から8月22日にかけ、内陸部を通って大坂まで旅し、加賀の侍は薩摩や土佐の侍のように猛々しくなく、長州の指導者のように抜け目のない策略家でもなくのんびりしている、のろまなのは裕福だからかもと感じたり、石山寺では文字通り、門前祓いを食わされたりしたということ。そして長崎で英国イカルス号の水兵殺害事件の報告を受けたパークスは、土佐藩の関与が疑われたので、阿波経由で土佐に向かうことになったが、ミットフォードは阿波でパークスやサトウと別れて江戸に。

 慶応4年（1868年）1月1日予定の兵庫開港の準備でミットフォードとサトウは大坂に12月3日に到着、パークスも24日に到着して兵庫は無事に開港。

そして慶応4年（1868年）1月3日の王政復古の大号令後、1月6日に慶喜は京都を離れ大坂城に。8日にパークスはミットフォード、サトウを伴って強引に慶喜に拝謁したが、1月28日に鳥羽伏見の戦いが勃発、幕府軍は敗北、1月31日には慶喜は大坂城を脱出。前日の30日には幕府は各国外交団に保護は不可能と通達したので外交団は兵庫へと移動、ミットフォードは護衛隊を引き連れて騎馬で兵庫へ。

2月4日、ミットフォードらは備前岡山藩兵が外国人を射撃する神戸事件に遭遇。この事件についてミットフォードは、備前岡山兵の射撃が下手だったが殺意のある襲撃とみなしたということ。尚、この事件の責任で滝善三郎が切腹の場に、ミットフォードとサトウが立会い、自著「昔の日本の物語」の付録にこの様子を記述。
3月5日に外交団は大坂に戻ったが、7日に山内容堂の治療のためウィリスが再度京都に派遣されることとなり、ミットフォードも同行。土佐藩の屋敷に入ったが、8日、土佐藩の兵士がフランス水兵を殺害する事件（堺事件）が発生。土佐藩士たちは殿様の治療を行うイギリス人には敵意を見せず、しかし堺事件の話でもちきりで異様な雰囲気はしたそう。

病床の容堂はウィリスの治療で持ち直し、ミットフォードに事件について誠実な謝罪、その後の対応などもきちんと話したということ。その後も両名は土佐藩邸に留まり、12日に大坂に。

3月23日、パークス一行は明治天皇への謁見のために京都に向かったが、ここで2人の攘夷派が一行を襲撃。1人は同行の土佐の中井弘蔵と後藤象二郎が斬殺、もう1人はミットフォードが捕らえたということ。この日の謁見は中止され、3月26日に延期に。この際パークス以外のイギリス公使館員では、本国でヴィクトリア女王に拝謁の経験がある貴族のミットフォードのみが謁見を許されたが、本人は功績のあるサトウらが謁見されないと不満を述懐。

3月29日、パークスらは江戸に戻ったが、ミットフォードは1人で大坂に残留組。 来日して1年半程度で1人で業務をこなせるほど日本語が上達していたということ。ミットフォードは8月に江戸に戻り、江戸は東京と改称、明治への改元も。

明治2年（1869年）9月4日、ヴィクトリア女王の次男のエディンバラ公アルフレート王子が来日したが、ミットフォードはエディンバラ公の宿舎となった浜離宮に約1ヶ月住みこみで準備。エディンバラ公が天皇に謁見した際には、通訳を。その後はオーストリア外交使節一行をサポート。

明治3年（1870年）1月1日に日本を離任する際、疲れ切ったミットフォードは、大男のウィリスに船に担ぎ込んでもらったということ。

尚、ついでに言えば明治14年（1881年）10月には、海軍軍艦での世界周遊の途中でヴィクトリア女王の孫でエドワード7世の息子たちであるアルバート・ヴィクター王子と弟のジョージ王子（ジョージ5世）が来日、当時流行していたタトゥーを入れたという話も。

一行は約1か月日本に滞在し、東京だけでなく京都や神戸、鹿児島も訪問、広島では江田島の海軍兵学校なども見学、ミットフォードはあと1か月遅ければ桜が満開なのに、雨が多くて日本の印象が悪くならないかといいつつ、40年前とすっかり変わった日本の昔を懐かしみ、後藤象二郎や岩倉具視や木戸孝允、西郷隆盛、パークス襲撃事件で守ってくれた中井弘蔵のお墓参りにも。また、ミットフォードは勲一等旭日大綬章を授章。

尚、ガーター勲章はイギリス最高の勲章で、外国人ではイギリスと同盟のある国の元首が授与されるのですが、第二次世界大戦ではく奪後、再び昭和天皇に授与されたが、一度はく奪され再授与された唯一の例だそう。

ミットフォードはグロスターシャー州バッツフォードの屋敷を相続して、主屋をヴィクトリアン・ゴシック調に改造したり、庭園に大好きな紅葉や竹を植えて禅宗風に作り直したということ。1916年8月17日、79歳で死去。

ミットフォードは、エドワード皇太子、後のエドワード7世と親友だったとか、上流階級の人間で政府関係者でもあったミットフォードの名前はヴィクトリア女王の伝記にも登場し、他のことを調べていても登場。

そのなかでは、有名なウィンストン・チャーチル夫人のクレメンタイン・オギルヴィ・スペンサー＝チャーチルについての話もあり。チャーチル夫人はミットフォード夫人の姉の娘であるのですが、チャーチル夫人の母は法的には父ヘンリー・モンタギュー・ホージアーと、母レディ・ブランチ・ホージアーでデイヴィッド・オギルヴィ（ 第10代エアリー伯爵の長女）の間に生まれたとされているが、母がかなり素行に問題がある人だったようで、実父が誰なのか議論されているということ（イギリスの貴族では時々ある話ですが）。色々な実父説の中に、母の姉の夫であるミットフォードがチャーチル夫人の実父ではと推測する伝記作家も。

イギリスで、20世紀前半の上流階級のアイコン的存在として有名なミットフォード姉妹は、A・B・ミットフォードの次男でリーズデイル卿を継いだデービッドの娘たち6人姉妹のこと。それぞれ作家、ファシスト、コミュニスト、公爵夫人など多彩な波乱万丈の人生を送り社交界をにぎわせたということで、イギリスでは姉妹に関する数多くの書籍が出版され、多数の映像化も。

姉妹の名前は、ナンシー、パメラ、ダイアナ、ユニティ、ジェシカ、デボラ。またパメラの下にトーマス。
ヒュー・コータッツィ著の「英国外交官の明治維新」では、祖父ミットフォードの回想録を孫娘ジェシカは自著の序文で「うんざりするほど膨大な自叙伝」と感想を。