昭和初期、旅館を併設

　昭和初期（元年～5年間要したと伝わる）敷地内に温泉（上総堀で自噴）を掘り旅館を併設、現在の広間は昭和6年4月30日京都で修行した宮大工、和賀篤三郎棟梁、鹿児島の後藤氏、左官は安部氏により建てられた。その後初代館主は熊本市内に料亭.割烹「吉野家」開業、熊本市内に居住　旅館「芳野」は二代館主に引き継がれた。
　昭和19年7月21日～22日集中豪雨、山津波で三階建ての建物は地面ごと流失。 その時二代目館主が他の建物の流失を防ぐ為、大広間のとの境を命がけで斧を振るったと伝わる。 現在残る建物は木造二階建て、茶茎の壁、古い船板、竹細工、古木の床の間など、その当時の珍しい建材を使用した大正ロマン調の造りなど、一部屋ごと違う造りで料亭時代の色を今に残している。

　屋敷全体風水で造られ、特に玄関は不思議な方向を向いて建てられている。昔からの言い伝えで、門で振り返り玄関の不思議に気が付くとその方の運気が上がると言われている。 中庭は御典医安藤家（芳野）、人吉城の庭、武家屋敷、永国寺、青井神社大宮司邸の 庭と同門の庭師の作だと伝えられ（相良藩五大庭園）、亀石、鶴石、花立、お稲荷さん、玄部の祠灯篭、松、池など 古き良き時代の趣が随所に残しています。 又、芳野の庭園は黄檗宗の影響を強く受けた庭（2012夏　奈良国立博物館木管 解読）とも伝わります。