בשנת 1921 הקימה בריטניה את אמירות עבר הירדן בראשותו של האמיר עבדאללה בן חוסין. בסיועם של הבריטים הוקמה באותה שנה יחידת משטרה מדברית שמטרתה להגן על תושבי הכפרים בעבר הירדן מפני פשיטות שבטי נוודים מהמדבר. היחידה מנתה כ-100 איש ופיקד עליה קצין בריטי, פרדריק ג'רארד פיק (פיק פשה). פיק אימן וארגן מחדש את הכוח, גייס חיילים נוספים, בעיקר ערבים מסוריה ומארץ ישראל ששירתו בעבר בצבא העות'מאני, ועד סוף השנה הרחיבו לכ-1,000 חיילים. בשנת 1923 סופחה המשטרה האזרחית הירדנית לכוח, אשר נודע מאז בשם 'הלגיון הערבי'. עד 1926 מנה הכוח כ-1,500 חיילים וקצינים.

באותה שנה הידלדל כוחו של הלגיון הערבי והצטמצמו סמכויותיו בעקבות הקמתו של משמר הגבול העבר-ירדני. הלגיון לא הצליח לבלום את פלישות הבדואים לתחומה של עבר-הירדן, ונוצר איום על יציבות שלטונו של עבדאללה. בנובמבר 1930 התמנה הקצין בריטי ג'ון בגוט גלב (גלב פאשה) לסגנו של פיק. גלב הכיר את הבדואים וידע כיצד להתמודד איתם. הוא הקים את 'משמר המדבר', שכלל בתחילה כעשרים איש וארבעה רכבים עם מקלעים. בהדרגה גייס לשורות הכוח בדואים רבים, חיזק את הקשר בינם לבין האמירות ופייס את השבטים הנותרים.

בשנת 1936 מנה הלגיון כ-1,200 איש, מאורגנים ב'משמר מדבר' הממונע, גדוד רגלים, גדוד פרשים ומשטרה עירונית. במרץ 1939 פרש פיק מהפיקוד על הלגיון והוחלף על ידי גלב. תחת פיקודו נחשב הלגיון הערבי לכוח הצבאי הערבי הטוב והמאומן ביותר באותה תקופה. במהלך מלחמת העולם השניה הורחב הלגיון ומנה כ-8,000 קצינים וחיילים, המאורגנים בחטיבה רגלית ממוכנת, 15 פלוגות מצב, פלוגת הנדסה ו'משמר המדבר'. יחידות הלגיון סייעו לבריטים לשוב ולהשתלט על עיראק בשנת 1941 והשתתפו במבצע בריטי במבצע למניעת השתלטות מעצמות הציר על סוריה.

ב-25 במאי, 1946, זכתה אמירות עבר הירדן לעצמאות. הלגיון הערבי, שכוחותיו הצטצמצמו לכ-6,000 איש אחרי המלחמה, היה לצבאה הסדיר של הממלכה. במלחמת העצמאות היה הלגיון הערבי היה הצבא הערבי הטוב ביותר שהשתתף במערכה. מפקדו היה בריטי, הציוד  שלו היה בריטי וקציניו הוכשרו בבריטניה או על ידי קצינים בריטים בירדן. עוד לפני הפלישה ערבית במאי 1948, התערב הלגיון בלחימה ושיתף פעולה עם הכנופיות הערביות נגד הישוב היהודי. ב-12 במאי תקף הלגיון את גוש עציון וגרם לכניעת כל ישוביו כעבור יומיים. עם תחילת הפלישה הערבית תפס הלגיון את אזור לטרון וחסם את הדרך לירושלים, השתלט על העיר העתיקה ועל האזורים המכונים 'הגדה המערבית' ולחם באזור לוד-רמלה וב'משולש'.

במהלך מלחמת העצמאות הוחלף שמו של הלגיון הערבי ל'לגיון הירדני'. בשנת 1956 פוטר גלב, והפיקוד העליון הועבר לידי קצינים ירדנים, כשלב נוסף בדרך להשלמת עצמאותה של ירדן. בשנת 1969 שונה שמו של הלגיון הערבי ל'הכוחות המזוינים של ירדן'.