1) the concept "חָטָא֙ יִשְׂרָאֵ֔ל" - Sanhedrin
(יהושע ז, יא) "חָטָא֙ יִשְׂרָאֵ֔ל" אמר רבי אבא בר זבדא: אע"פ שחטא, ישראל הוא
§ When God explained to Joshua the reason for the Jewish people’s defeat at the city of Ai, He said: “Israel has sinned” (Joshua 7:11). Rabbi Abba bar Zavda says: From here it may be inferred that even when the Jewish people have sinned, they are still called “Israel.”
חָטָא֙ יִשְׂרָאֵ֔ל וְגַם֙ עָבְר֣וּ אֶת־בְּרִיתִ֔י אֲשֶׁ֥ר צִוִּ֖יתִי אוֹתָ֑ם וְגַ֤ם לָֽקְחוּ֙ מִן־הַחֵ֔רֶם וְגַ֤ם גָּֽנְבוּ֙ וְגַ֣ם כִּֽחֲשׁ֔וּ וְגַ֖ם שָׂ֥מוּ בִכְלֵיהֶֽם׃
Israel has sinned! They have broken the covenant by which I bound them. They have taken of the proscribed and put it in their vessels; they have stolen; they have broken faith!
חטא ישראל - מדלא אמר "חטא העם" עדיין שם קדושתם עליהם:
השיב רש"י: על היְבָמָה שנפלה לפני יבם משומד צריכה חליצה. ואין חילוק בין שקדשה הבעל ואח"כ נשתמד, בין שנשתמד קודם קידושין, שהמשומד הרי הוא כישראל חשוד לכל דבר שנאמר "חטא ישראל אעפ"י שחטא, ישראל הוא". ואין לחלקו מידת ישראל אלא שאין נאמן באיסורין, הואיל וחשוד הוא עליהן, ויינו יין נסך הואיל וחשוד הוא לע"ז; וקידושיו קידושין וחליצתו חליצה. כללא של דבר: הרי הוא כישראל חשוד.
It emerges from Rashi that an apostate continues to belongs to the Jewish people (i.e. Jewish family law still applies to him), but his religious status as Jew has become suspect
2a) the concept "מוּמָר" - Chullin
מוּמָר m. (part. Hof. of מוּר) 1) exchanged, —2) converted, apostate, esp. mumar, an open opponent of Jewish law, non-conformist. [interchanges with מְשׁוּמָּד in eds. a. mss.]
אמר רבא: ישראל מומר אוכל נבילות לתיאבון, בודק סכין ונותן לו ומותר לאכול משחיטתו. מאי טעמא? כיון דאיכא התירא ואיסורא, לא שביק התירא ואכיל איסורא. אי הכי, כי לא בדק, נמי? מיטרח לא טרח [רש"י: אם לא ימצאנה יפה לא יחזור אחר סכין אחרת]
Rava says: a Jewish transgressor whose transgression is that he eats unslaughtered animal carcasses to satisfy his appetite, if he seeks to slaughter an animal, one examines a knife to ensure that it is perfectly smooth with no nicks and gives it to the transgressor, and it is permitted to eat from what he slaughtered. What is the reason? Since in this case there is the option to slaughter the animal in a permitted manner or to slaughter the animal in a prohibited manner, such a transgressor would not intentionally forsake the permitted manner and eat food slaughtered in a prohibited manner. If so, then even in a case where the Jew did not examine the knife, it should be permitted. The Gemara answers: It is prohibited because if his knife is nicked he does not exert himself to get a knife with a smooth blade.
מקבלין קרבנות מפושעי ישראל כדי שיחזרו בהן בתשובה, חוץ מן המומר לנסך את היין, ולחלל שבתות בפרהסיא
One accepts offerings from Jewish transgressors so that they will consequently repent, except for the transgressor to pour wine as a libation to idolatry or to desecrate Shabbat in public
מקבלין קרבנות מפושעי ישראל במומר לדבר אחד חוץ מן המומר לנסך את היין ולחלל שבתות דהני חמירי, אלמא מומר לעבודת כוכבים כמומר לכל התורה כולה דמי. האי תנא חמירא ליה שבת כעבודת כוכבים, דהעובד עבודת כוכבים כופר בהקב"ה והמחלל שבת כופר במעשיו ומעיד שקר שלא שבת הקב"ה במעשה בראשית
2b) the concept "מוּמָר" - Shulchan Aruch
מומר אוכל נבילות לתיאבון, ישראל בודק סכין ונותן לו ומותר לאכול משחיטתו אפי' ישחוט בינו לבין עצמו והוא שיודעין בו שיודע הלכות שחיטה
If a wanton sinner who eats a nevilah, if a Jew first checks the knife that he is given, only then are we allowed to eat from what he slaughtered even if he slaughters alone
מומר להכעיס אפי' לדבר אחד או שהוא מומר לעבודת כוכבים או לחלל שבת בפרהסיא או שהוא מומר לכל התורה אפילו חוץ משתים אלו, דינו כעובד כוכבים
A (true) apostate*, even against one Jewish law, or if he worships idols or publicly desecrates the sabbath, or an apostate against all of torah apart from these two: they have the status of idol worshippers [*a Mumar Lehachis is someone who sins (in heresy) out of anger to G-d]
שולחן ערוך הרב יורה דעה הלכות שחיטה סימן ב סעיף ד
מומר לתאבון. פירוש למלאות תאוותו כשאינו מוצא בשר כשר או שאינו מוצא בזול כל כך... לאפוקי מי שאינו חושש בשחיטה
שולחן ערוך הרב יורה דעה הלכות שחיטה סימן סעיף ה
שזו חזקה היא אפילו בפושעי ישראל כשיש איסור והיתר לפניו שאינו מניח את ההיתר ואוכל את האיסור עד שידוע שיצא מחזקה זו ואינו חושש כלל באיסורין
ולהכעיס מקרי שיש בנמצא בשר [כשר] כזה ואוכל נבילה להכעיס
לחלל שבת בפרהסיא. בפני עשרה מישראל, או שהדבר מפורסם והוא ידע שיתפרסם, אפילו לא חילל להכעיס אלא לתיאבון במזיד באיסורא דאורייתא. ואפילו ראינוהו מקיים שאר מצות שחיטה הרי הוא כנכרי לשחיטה וכל התורה חוץ מקידושין
One cannot tell if an animal was validly slaughtered just by looking at it afterwards. Therefore trust is is a very important aspect in the laws of shechita, and the trustworthiness of the various types of Mumarim is discussed at lenght in Masechet Chulin. In particular, we have seen the concepts of מומר לתיאבון, מומר להכעיס, מומר לדבר אחד, מומר לכל התורה, מומר לחלל שבת בפרהסיא
Note that not everyone agreed with Rashi's differentiation that while a Mumar/Meshumad is religiously suspect, he continues to be part of the Jewish people. Below follows a different analysis of the sugya in Chullin:
ספר העיטור אות ק קידושין דף עח עמוד א אבל בתשובות דקמאי משום דחילל שבתות אינו כישראל שנ' ביני ובין ישראל, כל המשמר נקרא ישראל ותניא מקבלין קרבנות מפושעי ישראל [חוץ] מן המומר ליין נסך ולחלל שבתות בפרהסי'. הילכך מחלל שבתות בפרהסי' עכו"ם הוא וקידושיו לאו קידושי; ומסתמא דגוים שבחוץ לארץ לאו עובדי עבודת אלילים הן, האידנא לאו מומר לעבודת אלילים; ודין מחלל שבת בפרהסיא ליכא [אלא] בעבודת קרקע; וקידושיו קידושין וגירושיו גירושין.
Sefer Ha-Ittur, kof – Kiddushin, 78a, R. Yitzhak b. Abba Mari, Marseille, 12 th c.
However, in the responsa of earlier authorities we find that one who violates Shabbat is no longer Israel, for it says, “between me and Israel”: anyone who keeps Shabbat is called Israel, and it is taught that one does not accept sacrifices from an apostate who is an idolater or who violates Shabbat in public. Therefore, one who violates Shabbat in public is a Gentile and is incapable of effecting kiddushin. But Gentiles today outside of the land of Israel are not idolators [this is based on a statement in Bavli Hullin 13b] so a contemporary [Jewish apostate] can’t possibly be classed as an apostate idolater. And the rule concerning public Shabbat violation only applies to those who work the land [and Jews are mostly not involved in agriculture]. Therefore, [contemporary apostates] effect valid Jewish marriage and divorce.
3a) The concept of תִינוֹק שֶׁנִּשְׁבָּה [Shabbat]
כְּלָל גָּדוֹל אָמְרוּ בַּשַּׁבָּת: כׇּל הַשּׁוֹכֵחַ עִיקַּר שַׁבָּת, וְעָשָׂה מְלָאכוֹת הַרְבֵּה בְּשַׁבָּתוֹת הַרְבֵּה — אֵינוֹ חַיָּיב אֶלָּא [חַטָּאת] אַחַת. כֵּיצַד? — תִּינוֹק שֶׁנִּשְׁבָּה לְבֵין הַגּוֹיִם, וְגֵר שֶׁנִּתְגַּיֵּיר בֵּין הַגּוֹיִם, וְעָשָׂה מְלָאכוֹת הַרְבֵּה בְּשַׁבָּתוֹת הַרְבֵּה — אֵינוֹ חַיָּיב אֶלָּא חַטָּאת אַחַת
They stated a significant principle with regard to the halakhot of Shabbat: One who forgets the essence of Shabbat, i.e., one who does not know that there is a mitzva of Shabbat in the Torah, and performs many prohibited labors on multiple Shabbatot is liable to bring only one sin-offering. How so? With regard to a child who was taken captive among the gentiles and a convert who converted among the gentiles and does not know the essence of Shabbat; and if he performed many prohibited labors on multiple Shabbatot, he is only liable to bring one sin-offering for all his unwitting transgressions
3b) The concept of תִינוֹק שֶׁנִּשְׁבָּה - The Chidush of Rambam and R Ettlinger
וְהַתּוֹרָה הִקְפִּידָה עַל נַפְשׁוֹת יִשְׂרָאֵל. בֵּין רְשָׁעִים בֵּין צַדִּיקִים. מֵאַחַר שֶׁהֵם נִלְוִים אֶל ה' וּמַאֲמִינִים בְּעִקַּר הַדָּת. שֶׁנֶּאֱמַר (יחזקאל לג יא) "אֱמֹר אֲלֵיהֶם חַי אָנִי נְאֻם ה' אֱלֹקִים אִם אֶחְפֹּץ בְּמוֹת הָרָשָׁע כִּי אִם בְּשׁוּב רָשָׁע מִדַּרְכּוֹ וְחָיָה".
The Torah showed concern for the lives of the Jewish people, both the wicked and the righteous, for they are attached to God and believe in the fundamentals of our faith. And Ezekiel 33:11 states: "Say to them, 'As I live,' says God, the Lord, 'Do I desire the death of a wicked man? I desire that the wicked return from his path and live.'
בַּמֶּה דְּבָרִים אֲמוּרִים בְּאִישׁ שֶׁכָּפַר בַּתּוֹרָה שֶׁבְּעַל פֶּה בְּמַחֲשַׁבְתּוֹ וּבִדְבָרִים שֶׁנִּרְאוּ לוֹ. וְהָלַךְ אַחַר דַּעְתּוֹ הַקַּלָּה וְאַחַר שְׁרִירוּת לִבּוֹ וְכוֹפֵר בַּתּוֹרָה שֶׁבְּעַל פֶּה תְּחִלָּה כְּצָדוֹק וּבַיְתּוֹס וְכֵן כָּל הַתּוֹעִים אַחֲרָיו. אֲבָל בְּנֵי הַתּוֹעִים הָאֵלֶּה וּבְנֵי בְּנֵיהֶם שֶׁהִדִּיחוּ אוֹתָם אֲבוֹתָם וְנוֹלְדוּ בֵּין הַקָּרָאִים וְגִדְּלוּ אוֹתָם עַל דַּעְתָּם. הֲרֵי הוּא כְּתִינוֹק שֶׁנִּשְׁבָּה בֵּינֵיהֶם וְגִדְּלוּהוּ וְאֵינוֹ זָרִיז לֶאֱחֹז בְּדַרְכֵי הַמִּצְוֹת שֶׁהֲרֵי הוּא כְּאָנוּס וְאַף עַל פִּי שֶׁשָּׁמַע אַחַר כָּךְ [שֶׁהוּא יְהוּדִי וְרָאָה הַיְהוּדִים וְדָתָם הֲרֵי הוּא כְּאָנוּס שֶׁהֲרֵי גִּדְּלוּהוּ עַל טָעוּתָם] כָּךְ אֵלּוּ שֶׁאָמַרְנוּ הָאוֹחֲזִים בְּדַרְכֵי אֲבוֹתָם הַקָּרָאִים שֶׁטָּעוּ. לְפִיכָךְ רָאוּי לְהַחְזִירָן בִּתְשׁוּבָה וּלְמָשְׁכָם בְּדִבְרֵי שָׁלוֹם עַד שֶׁיַּחְזְרוּ לְאֵיתָן הַתּוֹרָה:
The children of these errant people and their grandchildren whose parents led them away and they were born among these Karaities and raised according to their conception, they are considered as a children captured and raised by them. Such a child may not be eager to follow the path of mitzvot, for it is as if he was compelled not to. Even if later, he hears that he is Jewish and saw Jews and their faith, he is still considered as one who was compelled against observance, for he was raised according to their mistaken path. This applies to those who we mentioned who follow the erroneous Karaite path of their ancestors. Therefore it is appropriate to motivate them to repent and draw them to the power of the Torah with words of peace.
According to the Rambam, Karaites are not considered Mumarim even though they don't believe in the Tora Shebe'al Peh. He equates them with children that have grown up in captivity (even though they did not truly live in captivity), as the overriding issue for him is that these Jews didn't have the chance to learn the Torah properly
שו"ת בנין ציון החדשות סימן כג [ר' יעקב אטלינגר]
...והנה עד כה דברנו מעיקר הדין איך לדון מחלל שבת בפרהסיא אבל לפושעי ישראל שבזמנינו לא ידענא מה אדון בהם אחר שבעו"ה פשתה הבהרת לרוב עד שברובם חלול שבת נעשה כהיתר... ויש בהם שמתפללים תפילת שבת ומקדשים קידוש היום ואח"כ מחללים שבת במלאכות דאורייתא ודרבנן והרי מחלל שבת נחשב כמומר בלבד מפני שהכופר בשבת כופר בבריאה ובבורא וזה מודה ע"י תפילה וקידוש ומה גם בבניהם אשר קמו תחתיהן אשר לא ידעו ולא שמעו דיני שבת שדומין ממש לצדוקין דלא נחשבו כמומרים אעפ"י שמחללין שבת מפני שמעשה אבותיהן בידיהם והם כתינוק שנשבה לבין עובדי ככבים...
R Ettlinger (Altona), followed by R Hoffmann (Berlin) further extend this concept to the modern secular Jew
שו"ת מלמד להועיל חלק א (אורח חיים) סימן כט [ר דוד צבי הופמן]
ואפשר שסמכו ע"ז מה שכתוב ג"כ בשו"ת בנין ציון החדשות סי' כ"ג שמחללי שבת בזמנינו נחשבים קצת כתינוק שנשבה לבין הנכרים, מפני שבעו"ה רוב ישראל בארצנו מחללי שבת הם, ואין דעתם בזה לכפור בעיקרי אמונתנו עיין שם, וכן הגיד לי הרב מו"ה משולם זלמן הכהן ז"ל בשם הגאון בעל שואל ומשיב שכתב שהאנשים מאמעריקא אינם נפסלים ע"י חילול שבת שלהם מפני שהם כתינוק שנשבה לבין הנכרים...
יהיה איך שיהיה המקיל לצרף אנשים כאלו למנין יש לו על מי שיסמוך, אך מי שיכול לילך לבהכ"נ אחר בלי להכלים איש, פשיטא דמהיות טוב שלא יסמוך על היתר זה, ויתפלל עם אנשים כשרים. עוד יש סניף להקל דבזמננו לא מיקרי מחלל שבת בפרהסיא, כיון שרובן עושין כן, דבשלמא אם רוב ישראל זכאין, ומעטים מעיזים פניהם לעשות איסור זה הרי הוא כופר בתורה ועושה תועבה ביד רמה ופורש עצמו מכלל ישראל, אבל כיון דבעו"ה רובם פורצים הגדר תקנתם קלקלתם, היחיד חושב שאין זה עבירה גדולה כל כך וא"צ לעשות בצנעה, ופרהסיה שלו כבצנעה, ואדרבה היראים קרואים בזמננו פרושים ומובדלים, והפושעים הם ההולכים בדרך כל הארץ.