בין השנים 1920 - 1934 ייצג את ערביי ישראל גוף שנקרא ועד פועל ערבי. לקראת פרוץ המאורעות (המרד) התארגנו כל הארגונים והגופים הציבוריים הערביים, וכוננו את הועד הערבי העליון, על מנת להנהיג את השביתה הכללית והמרד של ערביי ארץ ישראל נגד ממשלת המנדט הבריטית. הועד דרש ממשלת המנדט להפסיק את עליית היהודים לארץ ישראל, לאסור העברת קרקעות לידי יהודים ולבחור בית מחוקקים, שמשמעו באותה תקופה היה הבטחת רוב ערבי בגוף השלטוני בארץ ישראל.

למרות, שנציגהם של רוב המפלגות הערביות דאז היו חברים בוועד הערבי העליון, ההשפעה המכרעת עליו בראשית תקופת פעילותו הייתה של משפחת חוסייני, אליה השתייך גם המופתי הירושלמי. באוקטובר 1936 הופסק המרד והתחדש שוב ביוני 1937. עם התחדשותו, פרשה המפלגה הנאשאשיבית מן הוועד הערבי וקיצוניותו גברה. לאחר רצח מושל המחוז הבריטי, סר אנדרוס בידי טרוריסטים ערבים פירקה ממשלת המנדט את "הוועד הערבי" והגלתה את חבריו לאיי סיישל. פעילותו של הוועד הערבי פסקה, אולם המופתי הצליח להמלט לחוץ לארץ ובימי מלחמת העולם השניה שיתף פעולה עם מדינות הציר.

בנובמבר 1945 חידש הוועד הערבי את קיומו תחת הגמוניה של משפחת חוסייני, אולם במהרה פרצו בו מחלוקות שהביאו לפילוגו. הליגה הערבית כפתה על ערביי ארץ ישראל, בקיץ 1946, לשוב ולהקים ועד חדש בשליטת החוסיינים, בראשותו הפורמלית של המופתי ובראשותו בפועל של דודנו, ג'אמל אל-חוסייני. שמו הרישמי של גוף זה היה "מוסד ערבי עליון". הוא נקט קו קיצוני, דחה את כל הצעות הפשרה של הבריטים, הציג דרישות אנטי ציוניות לועדת החקירה של האו"ם, דחה את החלטה 181 של האו"ם על חלוקת ארץ ישראל וקרא למלחמה שתמנע את מימושה. גוף זה, נסה גם לארגן את כוחות ערביי ארץ ישראל למלחמה, אך לא השכיל לשלוט במצב ולהתארגן כיאות לקראת מלחמה זו. בראשית 1948 קיבל הוועד הערבי העליון את חסותו של החבר הערבי ושל הצבא המצרי אשר פלש לארץ ישראל ב- 15 במאי 1948. בספטמבר 1948 נתארגן הוועד מחדש בצורת "ממשלה כל-פלשתינאית", שמושבה היה תחילה בעזה ואחר כך בקהיר, אלא שלמעשה, למרות ניסיונותיו של המופתי להחיותו, איבד הוועד כל משמעות.