在第一次直奉战争爆发之后，张作霖一度被吴佩孚打的是一败涂地，当时张作霖坐火车回关外的时候，遭遇了猛烈的袭击，措手不及的张作霖在得知这是渤海湾的直系海军部队的手笔之后，更是破口大骂，妈拉个巴子，原来海军竟然还有点用处。
张作霖说这句话是因为之前在东北，是有一支小规模的海军，但是这支舰队的规模非常小，没什么战斗力，最后因为没什么经费便是找到张作霖，这个时候张作霖也没瞧得上，心里认为陆军比海军有用的多，便只是象征性的给了些日常的维持费用。而经过这次事件之后，回到奉天张作霖便是收编了这支舰队，以此作为基础成立了海军，负责人是沈鸿烈。海军的打造自然不像陆军那般，是需要巨额资金的，最终张作霖便是自掏腰包从日本买来两艘商船经过改造，又从俄国跟日本购买了破冰船跟鱼雷舰，这样的情况之下便成为了江海防舰队。
没过多久便爆发了第二次的直奉战争，沈鸿烈的海军在关键的海域上布雷，使得直系的舰队根本是没能派出去，最终以张作霖大胜告终，结束之后张宗昌便是占领了青岛收编了渤海舰队，而这支舰队的实力是非常强大的，随之张作霖成立了东北联合舰队，任总司令，可谓是当时中国最强的海军部队。
之后东北奉系海军便是打败了闽系海军，其中有一次奉系海军还动用了舰载飞机，对海州湾一带实施轰炸，虽然效果不咋地，但是却创造了一个历史，在中国东北海军是所向无敌，但是遇到西方的大家伙也是明显的不足。在中东路事件发生之后，东北海军与苏军的黑龙江舰队遭遇，实力相差太大一度损失惨重，自此之后海军的实力是大打折扣，虽然之后张学良想着重整旗鼓，也没能恢复往日的辉煌，在九一八事变之后，这支舰队最终投靠到闽系的广东舰队。
直到全面抗战爆发之后，东北海军的舰船更是自沉于青岛港内跟长江口岸，用来阻塞航道，阻挡日本的舰船从内河入侵到内陆，可谓是结局非常的悲壮。