בשנת 1925 הכירה ה'הגנה' בצורך בנוכחות יהודית גם בים. למטרה זאת הוקמה 'פלוגת הדייגים' בתל אביב, וגם בחיפה נעשו פעולות ראשונות לכיבוש הים. בשנות ה-30, עם ראשית ההעפלה, התרחבה הפעילות הימית. ה'הגנה' ערכה אימונים ימיים לאנשי הפו"ש (פלוגות השדה) והפו"ם (הפלוגות המיוחדות), ו'המוסד לעליה' ערך קורסים ימיים בשנים 1939-1938 לצרכי ההעפלה. רבים מהמשתתפים באימונים אלה באו ממועדוני הספורט של 'הפועל' בתל-אביב ובחיפה והצטרפו מאוחר יותר לכוח הימי בפלמ"ח.

במאי 1941 אבדו עקבותיהם של עשרים ושלושה מבכירי הימאים ב'הגנה' שיצאו למשימת חבלה בטריפולי שבלבנון מטעם הצבא הבריטי. האובדן של לוחמים ומפקדים ומנוסים וקשיים כספיים עיכבו את הקמתה של יחידה ימית במסגרת פלמ"ח עד שנת 1943.

במהלך שנת 1943 נערכו קורסים ימיים להכשרת סגל של מפקדים ומדריכים ולהקניית אימון ימי לכל לוחמי הפלמ"ח בסיוע 'המוסד לעליה ב''. בדצמבר 1943 הוקמה 'המחלקה הימית' של הפלמ"ח שתפקידיה היו לחימה ימית וסיוע למפעל ההעפלה. אנשי המחלקה שילבו אימונים עם עבודה בנמל חיפה. הבסיס של המחלקה הימית שכן בקיבוץ שדות ים והמחלקה השתייכה לפלוגת המטה (פלוגה ז'), שבה רוכזו 'המחלקות המיוחדות' של הפלמ"ח. בתחילת 1944 עלו ראשוני הימאים של הפלמ"ח על ספינות סוחר ודייג, במטרה לרכוש ניסיון מעשי בעבודה הימית. מאוחר יותר הוסבה ספינת הסוחר 'עמוס' לבית ספר ימי צף שבו רכשו ימאי הפלמ"ח הכשרה מקצועית. במטרה לבנות סגל פיקודי נערכו קורסים למפקדי סירות ולחובלים (קציני ים), שכללו גם הכשרה בלחימה יבשתית.

לקראת תום מלחמת העולם השנייה, בשל צורכי ההעפלה, הוחלט להרחיב את הכוח הימי. באפריל 1945 הוצאה המחלקה הימית מפלוגה ז', הורחבה והפכה לפלוגה חדשה - פלוגה י' בגדוד הרביעי (גדוד המטה) של הפלמ"ח. הפלוגה כונתה הפלי"ם (הפלוגה הימית), ואברהם זכאי מונה למפקדה הראשון. אחריו פיקדו עליה יוסף ריבקינד (יריב), יוסף (יוסוף) ברין-גדרון ושמואל (סאמק) ינאי. מפקדת הפלוגה היתה בשדות ים ובסיסים נוספים שלה היו בנווה ים, מעברות, גבעת השלושה, שפיים ויגור. תחומי הפעולה של הפלוגה היו: העפלה, חבלה ימית, תובלה ימית ונחיתה מהים. לוחמים נוספים צורפו ליחידה ונפתחו קורסים נוספים להכשרת מפקדי סירות וחובלים עבור ספינות המעפילים. במקביל הכשירו אנשי הפלי"ם את אנשי הפלמ"ח בהורדת מעפילים מהספינות לחוף והדריכו באגודות הספורט הימי, במטרה להכשיר עתודות כוח אדם לפלוגה. בדצמבר 1945 הוקמה 'החוליה' לחבלה ימית בפיקודו של יוחאי בן נון שנועדה לפגוע בפעילות הצי הבריטי נגד ההעפלה.

בתקופה שבין סוף מלחמת העולם השניה ועד מלחמת העצמאות פעל הפלי"ם בעיקר בתחום ההעפלה. כ-70 מאנשי הפלוגה, ימאים וגדעונים (אלחוטנים), סופחו אל המוסד לעלייה ב' ושימשו כמלווים של 65 אוניות המעפילים שהגיעו ארצה בתקופה זאת כשעל סיפונן כ-70,000 איש. רובם של המעפילים נתפסו בידי הבריטים והועברו למחנות בקפריסין. המלווים שהגיעו עמם לקפריסין עסקו באימון צבאי של המעפילים במסגרת 'שורות המגינים'. אנשי הפלי"ם ביצעו פעולות חבלה ימית: 'החוליה' פגעה במטרות של הצי הבריטי: אניות משמר, אוניות גירוש ואסדות נחיתה. וכן השתתפו אנשי הפלי"ם גם בפעולות לחימה יבשתית של הפלמ"ח, כגון: ליל הרכבות ותקיפת בסיסי משטרת החופים הבריטית בגבעת אולגה, בכפר ויתקין ובסידנא עלי.

ערב מלחמת העצמאות מנו כוחות הפלי"ם כ-400 ימאים, בהם כ-80 בוגרי קורס חובלים וכ-70 בוגרי קורס מפקדי סירות. בעקבות קבלתה של החלטת החלוקה באו"ם בכ"ט בנובמבר 1947 פרצה מלחמת העצמאות והפלי"ם גויס למשימות נוספות: מחלקת פלי"ם שכונתה 'פלוגת הנמל' עסקה באבטחת הפועלים היהודים בנמל חיפה, בפעילות הרכש ובאפריל 1948 השתתפה בקרבות לשחרור חיפה; 200 מלוחמי הפלי"ם השתתפו במרץ 1948 בלחימה באזור ירושלים במסגרת מבצע 'נחשון'; 50 מאנשי הפלוגה עסקו בליווי אוניות רכש בדרכן ארצה.

ב-17 במרץ 1948 הוקם 'השירות הימי', שהיווה שלב מעבר לקראת הקמת חיל הים הישראלי. מטה הפלי"ם וכ-130 ימאים, אנשי 'פלוגת הנמל' וחניכי הקורסים הימיים הצטרפו לשירות והיוו בסיס לחיל. אחרי השלמת מבצע 'נחשון', הצטרפו לחיל הים 100 לוחמים נוספים מהפלוגה. הפיקוד הבכיר של חיל הים התבסס על מפקדי הפלי"ם וכך גם מפקדי אניות המלחמה ויחידות הקומנדו הימי. יוצאי הפלי"ם פיקדו על אניות מלחמה, רובן אניות מעפילים לשעבר, שהרחיקו את הצי המצרי מחופי ישראל, ועל אניות עולים שהביאו את מתנדבי הגח"ל. יוצאי 'החוליה' הקימו את 'שייטת 13', ובמסגרתה השתתפו בקרבות ימיים במלחמת העצמאות, בין השאר בהטבעת אונית הדגל של הצי המצרי 'האמיר פארוק' .