張作霖與吳佩孚。（圖片來源：維基百科）
1922年，第一次直奉戰爭爆發。躊躇滿志的張作霖，被吳佩孚打得一敗塗地，落荒而逃。在張作霖所乘坐的火車經京奉線退回關外的途中，突然遇到一陣猛烈的炮火轟炸。
張作霖被打得措手不及。他得知這是游弋在渤海灣的直系海軍部隊所為後，罵了一句：「媽拉巴子，原來海軍還是有用的。」
用私人款項購買江防和海防艦船
原來，早在1920年，東北就有了一支小規模的海軍部隊，即吉黑江防艦隊。這支艦隊規模小，戰鬥力弱，經費無人管，窮得揭不開鍋，只好找到張作霖。張作霖也沒看上眼，覺得真要打進關內，還是陸軍管用，就只是象徵性地給了一點日常維持費用。
張作霖回到奉天，立即收編了吉黑江防艦隊，在此基礎上籌備成立了海軍部隊。負責人為沈鴻烈。眾所周知，打造一支像樣的海軍部隊，可不是像陸軍那樣，十幾個人來七八條槍就夠了，而是要從國外購買大型艦船。這是需要巨額資金支撐。為此，張作霖告訴沈鴻烈：「買船的錢，奉天財政廳能給多少，算多少。不夠，我拿出私人的錢補上。」
當然，這支海軍部隊就是張作霖的私人武裝，他自己掏腰包，也算是合情合理。
有錢好辦事，沈鴻烈就從日本買來兩艘商船，經過改造，裝上東北兵工廠自造的槍炮，取名「鎮海」和「威海」。後來，又分別從俄國和日本購買一艘破冰船和一艘魚雷艦，取名「定海」和「飛鵬」。這樣，東北海軍就有了4艘艦船，編為江防艦隊和海防艦隊。
東北海軍大顯身手 打敗直系和閩系海軍
很快張作霖就嘗到了組建海軍部隊的甜頭。1924年，第二次直奉大戰爆發。戰爭進行之際，沈鴻烈率領艦隊巡防於營口、葫蘆島一線，還在關鍵的幾處海面上大批佈雷，使得直系渤海艦隊基本派不上用場。
第二次直奉大戰以張作霖打敗吳佩孚告終。戰爭結束後，奉系大將張宗昌佔領了渤海艦隊的駐地青島，將渤海艦隊收編。渤海艦隊實力非常強大，擁有巡洋艦「海圻」、「海琛」、「肇和」，驅逐艦「同安」號等眾多大型艦艇，現在，這些艦船都成了張作霖的囊中之物。
張作霖成立東北聯合艦隊，自任總司令，下轄江防、海防、渤海三艦隊，擁有大小軍艦26艘，約32200餘噸，是當時中國最強大的海軍部隊。
隨後，東北海軍又打敗了閩系海軍，其中1927年一次海戰中，東北海軍「鎮海」號動用了艦載飛機，對海州灣（現連雲港）和上海江南造船廠實施轟炸。雖然轟炸效果不好，卻創造了一個歷史：這是中國歷史上第一次艦載飛機作戰，也是上海第一次遭到空襲。
外戰外行 敗於蘇聯海軍
東北海軍在中國國內橫衝直撞，無人能擋。可一旦遇到西方列強，就露出外強中幹的本質。
1929年，中東路事件爆發後，東北軍與蘇聯軍隊進行作戰。期間，東北海軍與蘇軍黑龍江艦隊相遇，由於實力相差太大，損失慘重。
此後，東北海軍實力大為削弱，雖然張學良重整旗鼓，也不再有昔日輝煌。1931年「九一八」事變後，東北海軍江防艦隊落入日寇手中，其餘艦隊奮起抵抗。後南下投靠閩系的廣東艦隊。
1937年，全面抗戰爆發後，東北海軍艦船基本自沉於青島港內和長江口岸，用來阻塞航道，防止日本艦船沿內河入侵內陸，上演了極為悲壯的一幕。
