Laws of Zimmun (1)
(ג) כִּ֛י שֵׁ֥ם ה' אֶקְרָ֑א הָב֥וּ גֹ֖דֶל לֵאלֹקֵֽינוּ׃
(3) For the name of the LORD I proclaim; Give glory to our God!
(ד) גַּדְּל֣וּ לַה' אִתִּ֑י וּנְרוֹמְמָ֖ה שְׁמ֣וֹ יַחְדָּֽו׃
(4) Exalt the LORD with me; let us extol His name together.

(ג) רַבִּי שִׁמְעוֹן אוֹמֵר, שְׁלשָׁה שֶׁאָכְלוּ עַל שֻׁלְחָן אֶחָד וְלֹא אָמְרוּ עָלָיו דִּבְרֵי תוֹרָה, כְּאִלּוּ אָכְלוּ מִזִּבְחֵי מֵתִים, שֶׁנֶּאֱמַר (ישעיה כח) כִּי כָּל שֻׁלְחָנוֹת מָלְאוּ קִיא צֹאָה בְּלִי מָקוֹם. אֲבָל שְׁלשָׁה שֶׁאָכְלוּ עַל שֻׁלְחָן אֶחָד וְאָמְרוּ עָלָיו דִּבְרֵי תוֹרָה, כְּאִלּוּ אָכְלוּ מִשֻּׁלְחָנוֹ שֶׁל מָקוֹם בָּרוּךְ הוּא, שֶׁנֶּאֱמַר (יחזקאל מא) וַיְדַבֵּר אֵלַי זֶה הַשֻּׁלְחָן אֲשֶׁר לִפְנֵי ה':

(3) Rabbi Shimon said: if three have eaten at one table and have not spoken there words of Torah, [it is] as if they had eaten sacrifices [offered] to the dead, as it is said, “for all tables are full of filthy vomit, when the All-Present is absent” (Isaiah 28:8). But, if three have eaten at one table, and have spoken there words of Torah, [it is] as if they had eaten at the table of the All-Present, blessed be He, as it is said, “And He said unto me, ‘this is the table before the Lord’” (Ezekiel 41:2).

(א) וְלֹא אָמְרוּ עָלָיו דִּבְרֵי תוֹרָה. וּבְבִרְכַּת הַמָּזוֹן שֶׁמְּבָרְכִים עַל הַשֻּׁלְחָן, יוֹצְאִין יְדֵי חוֹבָתָן, וְחָשׁוּב כְּאִלּוּ אָמְרוּ עָלָיו דִּבְרֵי תּוֹרָה. כָּךְ שָׁמַעְתִּי:

(1) "And did not say upon it words of Torah": And with the Grace after Meals that we bless upon the table, we fulfill our obligation. And it is considered as if we said words of Torah upon it. So have I heard.

(א) רבי שמעון אומר שלשה שאכלו על שלחן ולא אמרו עליו דברי תורה כאלו אכלו מזבחי מתים. ר"ל כי כל שלחנות הרי הן כאלו מלאו תקרובת ע"ז שנחשבת כצואה לפי שלא אמרו עליו דברי תורה. כי ישיבת שלשה אנשים נקראת חבורה שהם מזמנין בברכת המזון ואין להתחבר להן ואין דברי תורה ביניהם שהיא פריקת עול התורה שאוכלין ושותין ונהנים לזכרת התורה לא תעלה על לבבם. אוי להם אוי להנאתם:

(1) Rabbi Shimon says: Three who ate at one table and did not say upon it words of Torah - it is as if they ate from the offerings of the dead: He means to say that since they did not say words of Torah, behold all of the tables are as if they were full of offering to idolatry which is considered to be like feces. Since the gathering of three people is called a group, as [indicated by the fact that] they would have an invitation (mezamnin) for the Grace after the meals. And one should not join them if there are no words of Torah among them, as that is removing the yoke of Torah. They are eating and drinking and enjoying, [but] the mention of Torah does not arise upon their hearts - woe to them and woe to their enjoyment.

(א) שְׁלשָׁה שֶׁאָכְלוּ כְאֶחָד, חַיָּבִין לְזַמֵּן...

(1) Three that have eaten together, it is their duty to invite [one another to say Birkat Hamazon]...

(א) היו מסובין ג' חייבים בזימון שאומר אחד מהם נברך שאכלנו משלו והם עונים ואומרי' ברוך שאכלנו משלו ובטובו חיינו והוא חוזר ואומר ברוך שאכלנו משלו ובטובו חיינו בא"י אמ"ה הזן את העולם וכו'...ואם הם עשרה צריך להזכי' את ה' שאומ' נברך אלקינו וכו' והם עונים ואומרים ברוך אלקינו וכו' ואין לומר נברך לאלקינו בלמ"ד...

If three sat together [to eat], they are obliged to make a zimmun. That is, one says "let us bless for we have eaten from that which is His" and the others respond "Blessed is He from whose [food] we have eaten, and in whose goodness has sustained us". He then repeats this and continues with the blessing of "hazan et ha'olam etc.". If they are ten, they must recall the Divine Name, i.e. "let us bless our G-d etc.", "blessed is our G-d", but one should not say "let us give blessing to our G-d"...

(א) (א) חייבין בזימון - דהיינו שחייבין להזדמן ולצרף ברכתם בלשון רבים דהיינו שאחד יאמר נברך שאכלנו וכו' ואסמכו רבנן אקרא דכתיב גדלו לה' אתי ונרוממה שמו דמשמע שאחד יאמר לשנים גדלו:

(ב) (ב) נברך - בזוהר הזהירו לומר בפיו קודם בהמ"ז תן לנו הכוס ונברך או באו ונברך לפי שכל דבר שבקדושה צריך הזמנה בפה עובר לעשייתו כדי להמשיך הקדושה ומזה נוהגים לומר בל"א (רבותי, מיר וועלין בענטשין) והם עונים יהי שם ה' מבורך מעתה ועד עולם:

(1)1. They are obliged to make a zimmun - That is to say that they are required to assemble and make their blessing as a group, i.e. one should say "let us bless for we have eaten etc." The Rabbis learnt this law from an asmachta through the verse: "Exalt the L-rd with me; let us extol His Name together" - the nature of this verse implies that one person invites others to give thanks to HaShem...

(2)2. Let us bless - In the Zohar, it is particular that one should introduce the bentching with a phrase like "pass me the glass and we'll bless" or "come let us bless", because all matters of holiness require an introduction through speech before performing them in order to continue the holiness. Therefore, our custom is to say "my masters, mir veln bentshn" [the Yiddish equivalent of רבותי נברך] and the response is "may the Name of the L-rd be blessed forever and ever".

(ד) (ד) ובטובו חיינו בא"י אמ"ה וכו' - משמע מזה דלא יאמר ברוך הוא וברוך שמו ויש פוסקים כתבו לומר ב"ה וב"ש וכן המנהג ועיין במ"א ובשארי אחרונים דעכ"פ לא שייך זה ביחיד וגם בשלשה אין לומר אותו רק המברך ולא שנים המזמנים עמו:

(4) "... and in His goodness are our lives. Blessed are You, God, our God, King of the universe, etc." - This implies that one does not say "Blessed is He, and Blessed is His name." But there are authorities who wrote to say "Blessed is He, and Blessed is His name," and so is the practice. And see in the Magen Avraham and in other Acharonim, that even so, this does not apply to an individual, and also with three, one should not say it; only the one blessing, and not the two who are invited with him.

(ב) אפי' לא הוקבעו מתחלה כולם לאכול יחד אלא שהשנים קבעו ואחר כך בא השלישי וקבע עמהם או שאחד קבע תחלה ואח' כך קבעו השנים עמו אינם רשאי' ליחלק כיון שהם קבועים יחד בגמר האכילה...

Even if they hadn't envisaged sitting together as a fixed group, but two of them had fixed and a third joined (or vice versa), they cannot then split up [and avoid Zimmun] because they are now sitting as a group in the conclusion of their eating...

(יח) (יח) שהשנים קבעו - קביעות נקרא כשיושבים ואוכלים על שלחן אחד או במפה אחת אפילו כל אחד אוכל מככרו וכמבואר לעיל בסימן קס"ז סי"א ועיין לעיל שם בסי"א בביאור הגר"א דדעתו שם דבעה"ב עם בני ביתו שישבו לאכול הוי קביעות ומצטרפי אפילו בלא שלחן אחד:

Two of them had fixed - fixed is defined as sitting together at one table or with one tablecloth, even if they're eating their own food as was explained earlier in 167:11 and in the Gr"a there, for his view is that a ba'al habayit who sits with his family [to eat] are considered have a fixed meal and can join [for zimmun] even when not sitting at the same table.

(א) שלשה שאכלו כאחד אחד מפסיק על כרחו לב' ועונה עמהם ברכת זימון ואפילו לא רצה להפסיק מזמנין עליו בין עונה בין אינו עונה כל שהוא עומד שם אבל שנים אין חייבים להפסיק לאחד הלכך אין חיוב זימון חל עד שיתרצו להפסיק לאחד ולברך ואם לא רצו להפסיק וזימן הוא עליהם לא עשה כלום ואם לא רצו להפסיק אף הוא אינו רשאי לברך ולצאת לשוק עד שיגמרו השנים ויזמן עליהם שהרי כבר נתחייב הוא בזימון והיאך יברך בלא זימון:

(ב) אינו צריך להפסיק אלא עד שיאמר ברוך שאכלנו משלו וכו': הגה וי"א שצריך להפסיק עד שיאמר הזן את הכל וכן נוהגין (הרא"ש ותו' והר"י בשם בה"ג והטור) ואם היה דעתו לחזור ולאכול פת אע"פ שלא אכל אח"כ כשרוצ' לברך מברך מתחיל' ברכת הזן וכ"ש אם חזר ואכל (הר"י פרק שלשה שאכלו) (טור) וחוזר וגומר סעודתו בלא ברכה בתחילה:

1. Three people who ate together as a group: Two can force one to stop [eating] in order to make Zimmun. And even if he wasn't finished eating, they invite him to join the Zimmun, whether he chooses to respond or not, so long as he is there. However two do not need to stop for one, therefore the obligation of Zimmun does not occur until they are ready to stop [eating] and bless. If they didn't want to stop, and he began the Zimmun, nothing happened. If they didn't want to stop, he can't bless nor leave until the other two have finished and he has then invited them for a Zimmun, for he is obligated in the Zimmun, and how can he bless without a Zimmun?

2. One need only stop [eating] temporarily until the end of the Zimmun. Gloss: And some say that he has to stop until the end of the blessing "hazan et hakol" and this is the custom. (Rosh et al.) And if his intention is to continue eating bread, even if he didn't do so afterwards, when he comes to bless, he must start at the beginning, and certainly if he did continue to eat [bread] (Ri) (Tur). He may then continue his meal without saying the blessing of "hazan et hakol".

פניני הלכה, ברכות ה:ג

אף שלמדנו שהשניים אינם חייבים להתחשב ביחיד שרוצה לסיים את סעודתו ולזמן, מנהג חסידות שיתחשבו בו ויצטרפו אליו לזימון, ואח"כ ימשיכו בסעודתם.

אבל אם יש חוצפה מסוימת בעזיבתו לפני סוף הסעודה, אינם צריכים להתחשב בו, ועליו להישאר עמהם עד סוף הסעודה כדי לברך בזימון.

ואם השניים כבר סיימו את סעודתם, אף שחשבו להתעכב עוד, אינם רשאים לעכב יותר את היחיד, ועליהם להצטרף אליו לזימון

Peninei Halacha, Berachot, 5:3

Even though we have learnt that two do not need to worry about a single person who wants to finish his meal and make a Zimmun, it is an act of piety to do so, and then continue their meal.

However, if this person is being insolent by leaving before the end of the meal, they needn't be concerned about this, and he is required to remain with them until the end of the meal in order to bless with a Zimmun.

But if the two have already finished their meal, even if they wanted to wait a little, they must not delay the other individual, but must join him in a Zimmun.