ראשיתה של הקבוצה בשנת 1949 כאשר זלמן כספי בעברו כדורגלן בהפועל רמת גן, הקים מחלקה למציאת כישרונות צעירים במעברות באזור באר שבע, על מנת לייסד בסופו של דבר קבוצת כדורגל. באפריל 1950 הוקמה הקבוצה בפועל, במסגרת מרכז "הפועל" הפועל באר שבע שיחקה לראשונה במשחק ידידות לרגל האחד במאי ב-1950, וניצחה 5–4 את הפועל מפלסים, קבוצה שהורכבה משחקנים שעלו לישראל מדרום אמריקה. את השערים לזכות הקבוצה כבשו מרכוס אברג'יל (צמד), הנרי לב (צמד) וברוך כהן. באותה עת השתתפה הקבוצה במשחקי ידידות מול קבוצות משתי הליגות הבכירות, וכן נערך דרבי מול מכבי באר שבע, אשר הסתיים בתיקו 3–3
בשנת 1952 הופסקה פעילותו הרשמית של המועדון, לאחר שהוחלט בהתאחדות כי המרחק הגאוגרפי אינו מאפשר את השתתפותו, אך בשנת 1954 נרשמה הקבוצה מחדש בהתאחדות לעונת 1954/1955 במחוז הנגב של ליגה ג', הליגה השלישית את העונה סיימה במקום השביעי והאחרון במחוז הנגב עם ניצחון אחד מ-12 משחקים, 22 שערי חובה, ו-5 שערי זכות בלבד.
את עונת 1955/1956, תחת הדרכתו של המאמן יוסף עזרן, סיימה הקבוצה במקום הראשון במחוז דרום של ליגה ג', הליגה הרביעית[. במשחקי המבחן על העלייה לליגה ב' התמודדה מול הפועל לוד, הפועל רמלה והפועל חולון, ובמשחק הקובע ברחובות ניצחה את הפועל יפו 5–0 והעפילה לליגה ב'. בעונת 1956/1957 סיימה הקבוצה במקום השביעי בליגה ב' מחוז דרום
בעונת 1957/1958 החליף לוניה דבורין את עזרן בעמדת האימון. באותה עונה עצרה ההתאחדות לכדורגל את כל הליגות מתחת לליגה הראשונה לקראת סופן, כשבאר שבע במקום השני שמוביל לשלב המבחנים לליגה א', בעקבות חשדות לקבלת שוחד והטיות משחקים, בגינן הוקפאו כל העולות והיורדות בליגות אלה לעונה זו. בסיום העונה הגיעה הקבוצה לגמר "גביע ההתאחדות לכדורגל", אך הפסידה 1–7 להפועל טבריה
