נולד בכפר טרויאנוב באוקראינה. קיבל חינוך מסורתי ורכש השכלה כללית בכוחות עצמו. שוחרר משירות צבאי בשל בריאות לקויה ועבד במשך 23 שנים כפקיד באחוזה של קרובו, הברון גינצבורג. במקביל לעבודתו עסק בפעילות בקרב בני הנוער שנועדה לקרבם לציונות וליהדות. בשנת 1903, אחרי שנמכרה האחוזה שבה עבד, החליט לעלות לארץ ישראל. בשנת 1904, בהיותו בן 48, עלה ארצה לבדו כשהוא מותיר את משפחתו מאחור. היה נחוש לעבוד בעבודת כפיים למרות גילו, חולשת גופו וחוסר נסיונו בעבודה מסוג זה. עבד כפועל חקלאי פשוט בפתח תקווה, בראשון לציון וביישובי הגליל וחווה את כל קשיי החיים של חלוצי העלייה השניה: עבודה מפרכת, חוסר עבודה, רעב וקדחת.
בשנת 1905 השתתף בגיבוש העקרונות של מפלגת 'הפועל הצעיר', אך לא השתתף בהקמתה. מאז ייסוד המפלגה ועד לפטירתו היה המנהיג הרוחני של המפלגה למרות שלא היה חבר רשמי בה. בשנת 1908 נפצע קשה מידי שודדים ערבים. בשנת 1909 החל לפרסם מסות ומאמרים, בעיקר בעיתון 'הפועל הצעיר', ובאמצעותם הפיץ את תורתו. במאמריו פרש את משנתו הציונית-לאומית-חברתית ובהדרגה רכש לעצמו השפעה רבה על הפועלים הצעירים, בעיקר על המשתייכים לחוגי 'הפועל הצעיר'. באותה שנה הצטרפו אליו אשתו ובתו והוא התיישב בעין גנים ליד פתח תקווה, שהיתה אז מרכז לחבורות הפועלים בארץ.כעבור זמן קצר נפטרה אשתו והוא שב לנדוד.
בשנת 1910 עבר לגליל ועבד בדגניה, במגדל ובסג'רה. בשנת 1913 הצטרף לקבוצת פועלים שהתיישבה בכפר אוריה. באותה שנה השתתף כנציג 'הפועל הצעיר' בקונגרס הציוני ה-11 בווינה. בראשית 1914 עבר עם קבוצתו לקבוצת כנרת ובשנת 1915 המשיך לדגניה. בתקופת מלחמת העולם הראשונה השתדל לסייע למגורשים מתל-אביב-יפו שהגיעו לגליל, לתמוך בהם ולעודד אותם. בשנת 1916 עבר לעבוד בשרונה, ניסה למצוא עבודה במרחביה, ובסוף 1917 הצטרף לקבוצת 'השומר' בתל עדס (תל עדשים). באותם תקופה חיבר את מאמרו המקיף 'חשבוננו עם עצמנו'. בשנת 1919 התנגד ליוזמה לאיחוד מפלגות הפועלים בארץ ישראל בטענה שסוציאליזם וציונות אינן ניתנות לשילוב. אחרי שהתעקש לעבוד ב-1 במאי ונתקל בהתנגדות, עזב את תל עדשים. בשנותיו האחרונות גר בדגניה, עבד בגן הירק ובכרם, הירבה לכתוב והמשיך בפעילותו הציבורית. נפטר בדגניה אחרי מחלה ממארת ונקבר בבית הקברות במקום.
בתורתו של גורדון ניכרת השפעה של 'מתקני עולם' מהמאה ה-19, כגון טולסטוי, וגם של רוח התנ"ך וחז"ל. הוא הטיף לחיי פשטות, לשיבה אל הטבע ואל עבודת האדמה. במרכז תורתו עמד רעיון העבודה, והוא ראה את העבודה לא כאמצעי בלבד, אלא כתכלית קיומו של האדם. לדעתו, העבודה, ובמיוחד עבודת האדמה, היא שתביא לגאולת הפרט ובהמשך לכך לגאולת העם. לפי גישתו היהודים בגלות עסקו בעבודה לא יצרנית. תיקונו של כל יהודי הוא באמצעות חיים של הגשמה עצמית בארץ ישראל, חיים של עבודת כפיים ועבודת אדמה. תיקונו של היחיד יביא לתיקונו של העם היהודי.
גורדון השפיע רבות על חלוצי העליה השנייה והעליה השלישית ועל פועלים יהודיים בכל רחבי העולם, שראו את עיקר הגאולה הלאומית בכיבוש העבודה והשמירה בארץ ישראל. למרות שלא היה מנהיג ונמנע מפעילות פוליטית. גדולתו והשפעתו נבעו לא רק מתורתו אלא מאישיותו המוסרית ומאורח חייו שהיה דוגמא להגשמה אישית וחלוצית. הוא חי כאחד הפועלים וחווה על בשרו את קשייהם וסבלם. הוא השפיע, שוחח וכתב. הוא שימש אב רוחני של הפועלים שפנו אליו בעצות ובבקשות ועודד אותם בשעת משבר.
עמדתו בולטת בשורה של נושאים עקרוניים. הוא טען שהעבודה, על ידי יחידים ועל ידי קבוצות, היא הגורם המכריע בשינוי העם וברכישת הזכויות על הארץ. העבודה היא העיקר ולא מלחמת המעמדות כטענת הסוציאליסטים. הוא חשש מהסוציאליזם ומהשתעבדות חלק מציבור הפועלים אליו. הוא התנגד להקמת הגדודים העבריים במלחמת העולם הראשונה בטענה שארץ ישראל נקנית בעבודה, ולא באש ולא בדם. הוא לא התלהב מהציונות המדינית של הרצל או מהצהרת בלפור, מתוך אמונה שהגאולה תבוא רק באמצעות הגשמה עצמית בעבודת האדמה בארץ ישראל. הוא דרש רגישות מוסרית ומתינות ביחסים עם ערביי הארץ אך לא כפיפות קומה.
תנועת הנוער גורדוניה, שנוסדה על פי עקרונותיו, נקראת על שמו. התנועה פעלה בגליציה, בישראל, בארצות הברית ובארגנטינה, ובוגריה הקימו מספר קיבוצים בארץ.