היה פעיל בהסתדרות הגימנזיסטים הציונים. עלה ארצה בשנת 1921. עבד במקומות שונים כפועל פשוט. היה ממייסדי תיאטרון ה'אוהל' ושחקן בתיאטרון בשנים 1930-1925. נסע ללמוד בפוליטכניקום בצרפת והוסמך כמהנדס אזרחי. בצרפת התקרב לקומוניזם ועם שובו לארץ הצטרף לפק"פ. בשנים 1945-1933 עבד כמהנדס בחברת הנפט 'של'. בשנת 1939 נבחר למזכיר הוועד המרכזי של המפלגה. לאחר הפילוג במפלגה בשנת 1943, הנהיג את 'המפלגה הקומוניסטית הפלשתינאית'. היה חבר ההסתדרות הכללית וייצג את מפלגתו במוסדותיה. בשנת 1944 נבחר לאספת הנבחרים הרביעית. התנגד לתכנית החלוקה, אך בעקבות תמיכת ברית המועצות בתכנית, שינה את עמדתו. היה חבר במועצת העם ובמועצת המדינה הזמנית. במלחמת העצמאות יצא לשליחויות בארצות מזרח אירופה לשם גיוס נשק ומתנדבים. בשנת 1948, עם הקמת מק"י נבחר למזכ"ל המפלגה וכיהן בתפקיד עד 1974. ניהל את המפלגה ביד רמה, בהתאם למדיניות שהוכתבה ממוסקבה, תוך כדי מאבק בציונות ובמדיניותן של ממשלות ישראל. בשנות ה-60 בעקבות חילוקי דעות במפלגה פרשו ממנה מרבית החברים הערבים והקימו את רק"ח. לאחר הפילוג הנהיג מקוניס את מק"י המצומצמת ונחשב לקומוניסט בעל נטייה לאומית מסוימת. הקשרים שלו עם ברית המועצות נחלשו והגיעו לקרע אחרי שהצדיק את מלחמת ששת הימים והגדירה כמלחמת מגן.

בשנת 1949 נבחר מקוניס לכנסת מטעם מק"י וכיהן כחבר כנסת בכנסות הראשונה עד הששית (בשנים 1969-1949). אחר פטירתו של משה סנה כיהן שוב בכנסת השביעית ממרץ 1972 עד דצמבר 1973. בשנת 1973 הקים ברית עם 'תכלת אדום' במסגרת 'מוקד'. בסוף 1974 פרש מ'מוקד', התפטר מהנהגת מק"י והצטרף לאק"י. בשנותיו האחרונות הצטמצמה פעילותו הפוליטית.