说到中国海军发展历史就无法避免到提到清末到民国时期活跃在白山黑水地区的东北海军。这支地域性的海军是从民国初期的吉黑江防舰队基础上发展起来，在那个有海无防的年代，这支下辖3个舰队，共计26艘舰艇，总排水量近2万吨，兵力3万余人的地域性舰队也成为当时中国海军的一个亮点。这支现今几乎被遗忘的舰队在当时也曾走在中国海军发展的探索最前列（中国第一艘飞机母舰，航母的前身）。
东北海军的前身是吉黑江防舰队，这支舰队是北洋政府为了防范俄国斗争失败的白俄匪军（当时盘踞在远东的高尔察克，手上掌握了远东舰队）。这支隶属于北洋政府海军总司令部，下辖“江平”、“江安”、“江通”号的浅水炮舰，并向中东铁路局借调“利济”号巡逻船。但是随着资本主义世界开展对苏俄革命的干涉，日本人看到机会，立即派遣大量的干涉军前往远东，同时打着小算盘不断占据东北地区，为了提升东北海军实力，对日本提升震慑，北洋政府从国民海军第2舰队抽调江亨、利捷、利绥三艘炮舰及武装拖轮利川号，组成北上舰队。
北上舰队的战舰除了吨级江亨号是从日本购买的，其余全是第一次世界大战时中国在长江上游没收的吨级的德国炮舰。这些战舰从年7月21日驶离吴淞口，直到9月中旬到达庙街，中国舰队在这个位置伙同苏俄红军游击队做出了“庙街事件”。
日本的干涉军陆军主力驻扎在伯力，海军则因河面结冰下撤到入海口，日军一个千人大队被困在庙街。红军游击队直接突袭庙街，击溃了驻守的日军，但是部分宪兵依靠城镇工事负隅顽抗。缺乏重型火力的红军游击队多次攻击失败，不得已派遣代表前往北上舰队驻地，向中国军队借炮。舰队司令和各舰军官商议后决定借给红军江亨舰上的3英寸火炮1门，配给炮弹6发;利川舰上的5响格林炮1门，炮弹3排计15发。游击队用这些炮火直接摧毁了日军宪兵的抵抗，反应过来的日军率领20余艘军舰包围了北上舰队，中日庙街交涉案由此出现。年深秋，这支北上舰队走了一年多终于到达哈尔滨，与哈尔滨现有军舰和并组成了第1支常驻东北的正规海军舰队，名为吉黑江防舰队。
随着北洋军阀不断为了地盘权利的斗争，中国已经成为了军阀割据的混乱局面，中央政府成为了一个花架子，命令出不了京津地区。这支小小的吉黑江防舰队更是被抛在脑后，这支舰队的所有经费报告都被驳回，以至于军饷都发不起。这时东北地主张作霖出现，给予资助也得以维持海军的军饷。随着张作霖的出资，这支归属中央的舰队，也就被张作霖收成了奉系军阀海军。
不过海军的发展，需要大量的资金（购置新舰），这样的需求注定是会被“胡子”出身的张作霖所拒绝的，所以很长一段时间吉黑江防舰队只能勉强发放水兵军饷，对战舰维修都极为困难，更别提增添新舰。但是这样的情况在第一次直奉战争后发生了改变。奉系4个师另9个旅，共计12万人军队气势汹汹的向北京攻去。这次的攻击被直系军队的海军破解，海筹、海容等巡洋舰用大口径的火炮给张作霖的胡子军涨了涨见识。直系军队在大口径舰炮的支援下，短短一周就击溃了12万奉军。战后发现军舰好处的张作霖，立即决定成立了航警处，开始逐步建立起东北的海军力量。
东北航警学校的组建标志着中国海军重要的“东北系”开始正式出现，短短3个月的时间便向大连政记轮船公司和日本进口2艘2吨级的商船并且把他们改装为海防炮舰，分别命名为“镇海”号和“威海”号。在第二次直奉战争中奉军占领大沽，获得了吨级的俄国破冰船，并且把他作为海防炮舰，命名为“定海”号。从此东北海军开始正式出现在历史舞台上，东北海防舰队，以营口为基地，负责巡防营口、葫芦岛、秦皇岛等海域。
第二次直奉战争奉系的胜利，让奉系彻底成为了中国第一大军阀，掌控着北方大量的地域，曾经的归属直系的渤海舰队（第一次直奉战争所派出海筹、海容的舰队）也被奉系所收编。奉系获得了包括巡洋舰“海圻”、“海琛”、“肇和”号，驱逐舰“同安”号，炮舰“永翔”、“楚豫”号的渤海舰队，年，奉系成立东北海军总司令部将江防、海防、渤海3个舰队正式合并为东北联合舰队。至此东北海军开始进入全盛时期，拥有各式舰艇20余艘，总吨位1.88余万吨，成为仅次于闽系的中国第二大海军，同时还拥有“海圻”、“海琛”、“肇和”号等当时是中国新锐的大舰，还拥有当时中国唯一的飞机母舰“镇海”号，战斗实力可谓中国第一。控制着中国的北部海域，与在东南沿海的闽系海军形成了南北对峙的局面。
随着张作霖被炸死，“少帅”张学良开始当家做主，而东北海军，实力也达到全盛时期。下辖有3个舰队，舰艇26艘，计有巡洋舰3艘、驱逐舰1艘、练习舰兼飞机母舰1艘、炮舰12艘、炮艇6艘、运输舰3艘，总排水量近2万吨;1个水上飞机队;2个陆战大队，总兵力共计3万余人。同时在青岛和沈阳构建相关配套设施，让东北海军可以行修理大小故障。
在国民革命军开始北伐时，全国形势转变为北伐军与奉系军阀南北对峙的局面，东北海军也曾多次南下袭扰东南沿海，与已经归附国民革命军的闽系海军发生了一系列战斗。东北海军率领海圻、镇海号两舰先行前往吴淞口偷袭闽系海军。先行攻击海筹号和应瑞号，并且造成一定的伤害。在返程途中顺便俘虏了闽系海军江利号炮舰，并监押至长山岛。深受伤害的闽系海军从此加强管理，严守长江锁钥吴淞口，严禁任何船只在夜间驶过吴淞炮台。7月22日，镇海掩护威海在海州湾用飞机轰炸海石号和新浦号。
后来北伐军继续北上，势如破竹，攻破了京津，而闽系海军却始终没有在海上取得过主动权。以至于国民革命军海军当局说:“我革命海军未克大举北上，竟我正本清源之大计，至今犹引为缺憾也”。
年3月，南京国民政府试图收回中东铁路，在蒋介石的暗示下，少帅张学良开始了命令东北边防军备战，准备以武力收回中东铁路。10月中苏两国历史上唯一的一次舰队交战“同江口之战”，正式爆发。在战争之初，东北海军率领江防舰队在同江口至同江县城一带布防，并于沿江要隘布设水雷，横以铁索。并将东乙号藏在芦苇浅滩中，在船上放置2门大炮并预先测准距离。当苏联阿穆尔河区舰队气势汹汹的冲入同江地区，被藏在芦苇浅滩中东乙号迎头痛击，旗舰雪尔诺夫当场战沉，列宁、杜洛斯基、克拉士诺芝纳锦号被重创。眼看这支苏联舰队就要被歼灭时，从海岑威起飞的25架新锐战机飞临战场。苏军开始打出了自己的立体战，飞机搭配战舰开始攻击，战场形式开始立即转变，利捷、江平和江泰号先后被炸沉,江安号被炸成2段，东乙号则因炸膛自沉，利绥号也负重伤。
同时苏联一支人的步骑混编部队，也出现在同江城下游5公里处，东北海军陆战队1个营奉命阻击，最后全部牺牲，苏军攻占同江县城。为了阻止苏军舰船继续南下，利绥、利川号军舰和商船2艘、拖船6艘在航道相继自沉以阻塞航道。在苏军海陆空三军联合进攻下，东北军节节败退，扎赉诺尔、满洲里都被丢掉了。中国政府被迫求和，以结束战争。东北江防舰队损失殆尽，东北海军也开始不断地衰败。
年国民党政府海军部正式成立，命令东北海军编为第3舰队。九一八事变后，东北失陷，中国人辛辛苦苦攒下来的全部江防舰艇一炮未发，就被日本人接收，后来交给伪满洲国成立松花江警备舰队。而东北海防舰队因驻守山东未受影响。但是在年6月崂山事件爆发，海圻、海琛、肇和号3艘大型军舰南下投奔广东舰队。抗日战争爆发后，为了防备日军舰队沿长江进攻南京，驻守南京的海圻、海琛号自沉于江阴长江航道;镇海、同安、定海、楚豫、永翔、江利、海鹤、海燕号8艘舰艇于12月12日沉塞于青岛水道;海鸥、海清、、海蓬号4艘炮艇于12月12日沉塞于刘公岛水道。自此国民革命军海军第3舰队的不复存在，东北海军也成为了一段历史。