הקיבוץ הוקם בעקבות פנייתו של אלכסנדר זייד לתנועת 'הקיבוץ המאוחד' ליישב בגבעות שייח'אבריק קבוצה של רועים. במאי 1935 החל גיוס חברים לתנועה מקרב חברי תנועת 'הנוער העובד'. ב-13 באוגוסט 1935 הגיעו לקריית חרושת החברים הראשונים של 'קבוצת הרועים של הנוער העובד'. חברים נוספים הצטרפו בחודשים הבאים. מספרם הכולל של חברי הקבוצה התקרב לעשרים וחמישה. הם גרו בצריפים בקריית חרושת והתפרנסו מעבודות חוץ.

ב-18 בינואר 1936 התאחדה קבוצת הרועים עם בוגרי חברת נוער א' מעין חרוד (חברת הנוער הראשונה שעלתה לארץ מגרמניה בשנת 1934).  לאחר האיחוד מנתה קבוצת הרועים 75 חברים. בסמוך לצריפים נבנה מחנה אוהלים עבור החברים החדשים.

באפריל 1936 פרץ המרד הערבי הגדול וגברו בעיות השמירה והביטחון בישובים היהודיים. חברי הקבוצה עברו לגור בחצרו של אלכסנדר זייד בשייח אבריק. ביוני 1936 הם רכשו עדר עיזים ראשון. בינואר 1937 החליטו חברי הקבוצה להצטרף לתנועת 'הקיבוץ המאוחד' במטרה לגדול ולהתרחב. הם החלו להקים מחנה עצמאי על  גבעות שייח אבריק. בפברואר 1937 נקלטה קבוצת עולים מתנועת 'החלוץ' בפולין. בעקבותיה נקלטו קבוצות ויחידים נוספים מעולי פולין וגרמניה וכן גם בני הארץ חברי 'הנוער העובד'. ב-27 במרץ 1937 הושלם המעבר למחנה העצמאי בשייח אבריק. המחנה כלל חדר אוכל ממוגן מירי, מגדל שמירה, צריפים ואוהלים. באותה שנה הוחלט לקרוא לקבוצת הרועים בשם 'קיבוץ אלונים' על שם עצי האלון הרבים בסביבה. חברי הקיבוץ הצטרפו ל'הגנה' והשתלבו בשמירה על הנקודה ועל האזור.

חברי הקיבוץ סבלו ממחסור באדמות חקלאיות לעיבוד. בינואר 1938 הם החלו לעבד את אדמות קוסקוס-טבעון הסמוכות שנרכשו על ידי יהודים בשנות ה-20 ואשר היו נושא לסכסוכים קשים עם ערביי האזור. ב-20 ביוני 1938 החלו חברי הקיבוץ להתיישב בקוסקוס תחתית והקימו במסגרת התיישבות 'חומה ומגדל' מחנה מוקף בחומת אבנים. במשך כשנתיים  חי הקיבוץ בשתי נקודות: בקוסקוס תחתית ובשייח אבריק, מצב שגרם לקשיים רבים, עד לפינוי הנקודה בשייח אבריק. ב-12 באוגוסט 1938 נרצח אלכסנדר זייד בדרכו לאסיפה בקיבוץ אלונים בשייח אבריק.

ב-18 באוקטובר 1938 הונחה אבן הפינה לחומה במקום הקבע על הגבעה בקוסקוס עילית. החומה הבנויה הגנה על אוהלי המגורים, אוהל האוכל, המרפאה וטנק המים. בהמשך נבנו בית בטחון  (מחוץ לחומה), חמש עמדות במבני אבן ומגדל שמירה. במאי 1939 נחנך חדר האוכל.  בפברואר 1940 הוקמה רפת. באוקטובר 1940 הונח קו מים שסיפק מי מקורות לאלונים. 

רבים מבני הקיבוץ שירתו בשורות הפלמ"ח. הקיבוץ שימש בסיס למטה הפלמ"ח, למחלקה הערבית של הפלמ"ח ולקורסים של ה'הגנה'.באלונים חיבר זרובבל גלעד את הימנון הפלמ"ח, 'מסביב יהום הסער'.