1910年12月中，東條英教返回國內時已經聲名赫赫，其在對俄戰爭中的不名譽傳聞已經完全被洗刷，國民普遍認為其在巴厘島上的勇氣代表了日本人的道德觀。
而在東條於橫濱港上岸時，陸軍大臣田村先攔住了他，在港口的馬車上和其進行了一場單獨的談話。田村大臣給東條的建議就是，回到東京後面對記者的採訪不要講陸軍的壞話，而陸軍將會提名東條晉陞大將。
這顯然是一場交易，但東條最後還是接受了，因為他明白自己雖然藉助巴厘島事件獲得了一些名聲，但想要撼動陸軍顯然還是不夠的，此時的東條已經放棄了從內部改革陸軍的念頭，所以他接受了和田村大臣達成的交易。
返回東京後的東條英教還是先去拜訪了林信義，和其他人相比，此時他更信任林信義，畢竟巴厘島事件的策劃者是林信義而不是其他人，如果沒有林信義的謀劃，那麼即便他進入了新成立的軍人道德委員會，想要對軍部事務進行干涉，也不會有多少影響力，但是現在他作為日本軍人的道德典範，再對軍部事務發言，就能引起國民的廣泛關注了。
現在東條英教已經和林信義捆綁在了一起，失去了林信義的支持，東條知道自己必然會被軍部所敵視，只有在林信義的支持下，他才能真正的領導軍人道德委員會，並對軍部形成牽制的權力。因此他自然需要知道林信義的想法，才會決定對記者的採訪做出什麼樣的回應。
林信義休假後就住在麻布區永坂町的住宅內，此地的舊地名稱之為麻布霞町，聽這名字就知道和東京的政治中心霞町相當近了，不過雖然叫麻布霞町，其實是一片農地、雜木林、町屋和下屋敷交錯的郊區鄉村，明治時代才逐漸變成住宅區。
也正因為如此，林信義購買這裡的時候地價並不貴，所以也就買的大了些，將近有1300多坪，不過真正使用起來的建築面積連十分之一都沒有，剩下的地方也只是稍稍清理保持了果林和魚塘的面貌，並沒有做什麼園林設計，這使得林信義的住宅更像是農莊，除了主樓採用了西式小樓的設計，和周邊的環境有些不協調。
對於文化素養較高的東條英教來說，林信義的品味顯然是有些差了，不過在進入了室內後，他倒是認可了林信義在享受上的水準，這間住宅確實極大的照顧了人的生活便利，而不是空有建築美感，水電等現代設施一應俱全，雖然不符合日本傳統，但是把僕人的作用削弱到了最低。
江戶時代流傳下來的貴族生活，想要舒適就需要大量的僕役來維護自己的需要，而從歐洲傳入的貴族生活，其實和江戶的傳統也沒啥區別，大部分家庭事務都是需要專業的僕役而不是家中的主人去完成的，只有美國人才會盡量使用科技產品取代人手，讓家庭主婦不依賴僕人的幫助也能完成大部分家務。
當然，在歐洲的貴族眼中，美國人和野蠻人也沒啥區別，雖然英國貴族時下流行娶美國百萬富翁的繼承人，但英國人也毫不掩飾對於美國百萬富翁的鄙視，認為這些人就是粗鄙的野蠻人，也就比有色人種強一些。
比如歐洲貴族家庭也用上了唱片機器和電話，但是這種為了提升個人方便的科技，在歐洲貴族家庭中卻專門分出了播放唱片和接電話的僕人，科技在貴族家庭中沒有表現出節約人力的效果，反而添置了多餘的僕人設置。
不過日本人倒是很喜歡這種貴族風範，因此把專職僕人視為了一種進步，家裡要是沒什麼錢，自然是不能弄出許多僕人負責專項事務的，只能一仆多能，於是僕人的多寡也就代表著一個家庭的門第高低了，這種風氣極大的帶動了明治上層的奢華風。
所以從政界大佬到財閥家族，無不以建設大庭院和僱傭大量僕役來顯示自己的財富和地位。這種奢華的上流風氣，自然更加引發了底層國民的不滿，要知道此時即便是大學畢業生，要是沒能考上公務員，也沒能進入大企業，就算是地位最高的法律畢業生，在擔任律師實習生的期間，也是沒法維持自己生活的。
自由民權運動之所以能夠引發大量國民的參與，這些受過高等教育的年輕失業者實際上發揮了運動的骨幹作用，這也是林信義在推動社會經濟變革過程中能夠獲得社會輿論支持的現實基礎。
對外戰爭帶來的榮譽並不能當飯吃，那些國內的知識分子支持戰爭是因為馬關條約帶來的巨大收益，但是日俄戰爭顯然打破了他們的幻夢，所以國民對於戰爭的渴望大大的下降了，對於國內政治經濟的變革要求卻在不斷上升，主要目的就是讓藩閥和財閥讓出利益，不能只顧自己享受。
林信義雖然只是長野縣破落士族出身，但是東條英教卻清楚，即便不講市來木子身後西鄉家族的支持，光是東京財閥對於林信義的支持，也可以讓林信義將這片地方建設成不錯的園林了。林信義的家居生活，顯然和其政治上的主張是一致的，就是平民化。
在東條英教觀察著林信義的生活時，林信義也了解了東條的來意，他也就坦率的說道：「我主張設立軍人道德委員會的目的，就是讓內閣稍稍加強一些對於陸海軍的管束，否則內閣對於陸海軍事務只有協商權而無約束能力。
雖然現在有元老們可以幫助內閣壓制陸海軍，但是元老們畢竟都老了，元老這個職位今後是否能夠保存，新的元老是否有能力壓制陸海軍，我看都是問題。所以，假如元老故去，或元老無法壓制陸海軍的局面出現，至少內閣可以通過軍人道德委員會和軍部進行溝通，迫使軍部不至於撇開政府自行其是。
因此，我對於軍人道德委員會的看法是，獨立於軍部和內閣的軍隊紀律維持機構，但需要和內閣合作才能存在下去。日後或者會取代元老，成為政府和軍隊的協調機構。
但現在么，軍人道德委員會能夠生存下來就很不錯了。畢竟，軍部和元老應該不會想要這樣一個分權的機構，而內閣則會想要把軍人道德委員會徹底納入控制，變成內閣的下屬機構…」
林信義暗示東條應該盡量讓軍隊道德委員會保持超然地位，而不具備傾向性，這倒是獲得了東條的認同，雖然他是做好了準備，接受海軍對於軍人道德委員會的控制力，但他也很清楚這種行為將會使陸軍對軍人道德委員會產生對抗情緒，到時這個機構能否存在下去還在未知數。
解決了當前最大的難題，東條英教心頭的壓力頓時減輕了不少，於是也就開始和林信義閑聊了起來，除了談及在巴厘島和青島的一些瑣事外，他對林信義被海軍強迫休假一事表示了不滿。
林信義倒是沒覺得強迫休假對自己有什麼壞處，他語氣輕鬆的表示，「其實休假也挺好，我可以在家陪陪木子，順便還有了更多時間做些其他的事情。」
東條英教以為林信義是心態豁達，他是真的沒想過，作為一個海軍中傑出的人物，一旦離開軍隊後還能做什麼其他事情，比如他自己被退役後就只能花天酒地了，因此也就沒有把話題轉到這個方向上。
其實林信義確實趁著休假忙起了別的事情，他趁著不用處理海軍事務，開始推動政黨的組建。從印度回來之後，他就開始準備組建政黨，到了1910年下半年，他覺得時機已經差不多了，因此便正式的展開了組黨工作。
此次組織政黨，實際上就是在社會主義者及社會改良主義者的聯合上建立的政黨，在平息了平民新聞社引發的風波後，日本的社會主義者就開始分流了，幸德秋水、片山潛領導的革命派移居中國建立日本社會民主工黨，而留在國內的社會主義者則轉向了政治改革的社會改良主義。
不過在林信義的安排下，關於社會主義者的監視檔案被大量的銷毀，所以留在國內的社會主義者沒有被內務省打擊到徹底放棄公有制經濟理論，保留了較多的革命思想。對於國內工業農業的調查，對於千葉縣農地改革的宣傳和鄉村工作，原本鬆散的社會主義理論研究者，終於逐漸形成了政治上較為一致的組織團體。
林信義在休假期間，和安部磯雄、石川三四郎、木下尚江、橫山源之助、島田三郎等人進行了多次交談和會議，逐漸達成了建立政黨的意願。
通過林信義聯繫起來的東京-長野政治、財閥派系，也在林信義的溝通下，決定支持這個新黨派的建立。不過林信義拒絕了東京-長野這個成分複雜的政治和財界的聯盟整體加入新政黨的主張，只接受以個人名義加入新黨。
此時的東京-長野政治、財閥派系在眾議院內是第三勢力，雖然在政治主張上不甚明顯，但是在政治勢力上已經有了不小的影響力。小川平吉、原嘉道、平沼騏一郎、鳩山和夫、安達峰一郎、若槻禮次郎等人逐漸成為了這一政治派系的核心，他們自然是想要讓新黨成為本派系的補充，從而進一步加強派系的力量。
但是東京-長野一系藉助山本內閣推動的東京及千葉縣的城市、工業建設計畫勢力不斷擴大的同時，也逐漸脫離了林信義的控制，平沼騏一郎、鳩山和夫、安達峰一郎、若槻禮次郎都是野心勃勃的官僚和政客，當然不願意完全受制於一個海軍中佐，哪怕林信義在海軍中的前途遠大。
而林信義也無意去整合東京-長野這一政商團體，畢竟這不過是他用來推動國內經濟建設的政治工具，雙方只是利益一致下的聯盟，談不上什麼共同的政治信仰。這一政商團體中的許多人對國內的改革並無多大興趣，只是想要抱團從經濟建設中分得一塊蛋糕而已。
但是現在日本國內的政治路線選擇上，經濟建設已經壓倒了國防建設，東京-長野政商團體對於林信義來說就沒啥助力了，接下來他需要推動社會財富的分配方式，也就是推動社會變革，這其中的一些人就成為了改革的阻力，所以他需要組建新黨來取代這個政治上搖擺不定的政商團體。
東京-長野這一政商團體雖然正處於蒸蒸日上的階段，但是面對林信義正在推動的新黨建設面前，依然是沒有什麼抵抗力的。平沼騏一郎、鳩山和夫、安達峰一郎、若槻禮次郎幾人雖然想要反對林信義另起爐灶建立新黨，並試圖將東京-長野這一關東政商團體變為黨派，但很快就遭到了重大挫折。
小川平吉、原嘉道及澀澤系領導的東京商業勢力拒絕另組黨派，平沼、鳩山、安達、若槻幾人雖然得到了安田財閥的認可，但是幾人之間卻沒法決議出一個領導者來，鳩山和夫雖然名望甚高，但是在政府中的影響力不大，其他人在政府中人脈不錯，可是在政治上卻沒有什麼主張，雙方都很難屈從一方。
小川平吉和原嘉道則很清醒，他們在政府中的地位其實主要依賴于海軍的支持，和東京、長野一系的支持沒啥關係。和林信義脫離關係，然後依託東京-長野一系自立門戶，兩人等於是政治上從頭再來，這顯然是在走回頭路，他們自然是不肯的。
平沼等人之所以想要自立門戶，就是因為海軍對兩人的支持更多一些，其他人都只是陪襯，所以他們更希望自己抱團，從而贏得政治上的獨立性，雙方所處的環境就不同，做出的判斷自然也就差的遠了。
更何況原嘉道更看好林信義，他認為鳩山和夫雖然在政治圈子裡有些名望，但是其政治上的路線其實是華而不實，壓根就沒有具體的政策，所以鳩山沒法整合派系組建政黨，反觀林信義的政治主張是很清晰的，捨棄東京-長野這個已經成了氣候的政治勢力也毫不猶豫，所以他還是壓林信義的新黨能夠成功。
至於澀澤系領導東京商業勢力跟著林信義走就毫無疑問了，因為林信義推動的東京城市建設和千葉縣工業中心的建設，都保護了他們的利益，阻止了大財閥壟斷新興產業的圖謀，他們不認為平沼、鳩山等人能夠維護自己的利益，特別是當他們和安田財閥接近時，更是引起了這些商人的警惕。
於是在1911年一月二十二日，在林信義的家中，安部磯雄、石川三四郎、木下尚江、橫山源之助、島田三郎幾人協商定下了新黨的名稱和政治理念。
新黨名為自由黨，經濟上主張：對內推進工業化和農村的現代化，對外建立以日本為主導的亞洲經濟聯合體。政治上主張：對內伸張民權，進一步降低議員選舉的經濟條件，限制警察權力，對外主張亞洲和平共存，以亞洲聯盟作為亞洲各國衝突的調解機構。
雖然作為現役軍人，林信義無法參加自由黨，但還是以受邀顧問的方式參與了黨內事務的討論，自由黨一開始成立的人數並不多，但是組織上卻比一般的政黨要嚴密的多，因為自由黨有自己的基層組織，東京地區深入到了工廠中，千葉縣的鄉村則進入到了村子的土地改革委員會中，這就意味著自由黨和其他政黨不同，不需要地方名望家的支持，就能直接和底層民眾進行交流。
因此，自由黨一經申請成立，在東京和千葉的城鄉基層組織就迅速擴展了，並開始向關東其他地區深入。而原本支持東京-長野的政商勢力，開始轉向自由黨，號稱眾議院第三勢力的東京-長野系開始瓦解，自由黨的影響力在議會中不斷上升。
自由黨的出現，自然引發了議會第一大黨立憲政友會和第二大黨憲政本黨的關注，憲政本黨的黨首雖然是大隈重信，但是面對立憲政友會第二次組閣，開始在政治上突破藩閥政治的封鎖，憲政本黨的一些黨員也產生了焦慮，認為不應當繼續保持反對藩閥政治的路線，否則憲政本黨就只能是在野黨，而隨著立憲政友會的再次組閣，政友會已經開始吸引一些本黨黨員轉投政友會，這樣下去，憲政本黨遲早完蛋。
大石正巳開始主張修正反藩閥路線，至少要先組閣，才能推動本黨的政治理念，他主張和親近海軍的自由黨結盟，以對抗政友會的強勢。之所以選擇海軍而不是陸軍，因為大石認為海軍的政治理念比較民主，陸軍還是過於保護自己的政治地位了。