דְּתַנְיָא: ״זֶה אֵלִי וְאַנְוֵהוּ״, הִתְנָאֵה לְפָנָיו בְּמִצְוֹת: עֲשֵׂה לְפָנָיו סוּכָּה נָאָה, וְלוּלָב נָאֶה, וְשׁוֹפָר נָאֶה, צִיצִית נָאָה, סֵפֶר תּוֹרָה נָאֶה, וְכָתוּב בּוֹ לִשְׁמוֹ בִּדְיוֹ נָאֶה, בְּקוּלְמוֹס נָאֶה, בְּלַבְלָר אוּמָּן, וְכוֹרְכוֹ בְּשִׁירָאִין נָאִין.
What is the source for the requirement of: “This is my God and I will glorify Him”? As it was taught in a baraita with regard to the verse: “This is my God and I will glorify Him [anveihu], the Lord of my father and I will raise Him up.” The Sages interpreted anveihu homiletically as linguistically related to noi, beauty, and interpreted the verse: Beautify yourself before Him in mitzvot. Even if one fulfills the mitzva by performing it simply, it is nonetheless proper to perform the mitzva as beautifully as possible. Make before Him a beautiful sukka, a beautiful lulav, a beautiful shofar, beautiful ritual fringes, beautiful parchment for a Torah scroll, and write in it in His name in beautiful ink, with a beautiful quill by an expert scribe, and wrap the scroll in beautiful silk fabric.
וְלֵית לֵיהּ הוּקְצָה לְמִצְוָתוֹ? וְהָתַנְיָא: סִיכְּכָה כְּהִלְכָתָהּ וְעִיטְּרָה בִּקְרָמִים וּבִסְדִינִין הַמְצוּיָּירִין, וְתָלָה בָּהּ אֱגוֹזִין, אֲפַרְסְקִין, שְׁקֵדִים וְרִמּוֹנִין, וּפַרְכִּילֵי עֲנָבִים, וַעֲטָרוֹת שֶׁל שִׁבּוֹלִין, יֵינוֹת, שְׁמָנִים וּסְלָתוֹת — אָסוּר לְהִסְתַּפֵּק מֵהֶן עַד מוֹצָאֵי יוֹם טוֹב הָאַחֲרוֹן. וְאִם הִתְנָה עֲלֵיהֶן — הַכֹּל לְפִי תְנָאוֹ.
The Gemara asks: And does he not hold that the prohibition of set-aside applies to an object set aside only for its mitzva without any prohibition? Wasn’t it taught in a baraita: One who roofed the sukka in accordance with its halakhic requirements and decorated it for aesthetic purposes with colored hangings and tapestries, and hung as decorations nuts, peaches, almonds and pomegranates, and grape branches, and wreaths made of stalks, wine, oils, and fine flour, it is prohibited to supply himself from them until the conclusion of the last day of the Festival. Since they were all set aside for the mitzva of sukka, all other uses are prohibited. And if one stipulated at the time that he hung them in the sukka that he is not designating them exclusively for this purpose, but he intends to use them for other purposes as well, their use is entirely in accordance with his stipulation. He is permitted to use them as he chooses.
וכן אוכלים ומשקים שתולין בסוכה כדי לנאותה אסור להסתפק מהם כל שמונה אפי' נפלו ובי"ט ושבת אסור לטלטלה דמוקצים הם (טור) ואם התנה עליהם בשעה שתלאם ואמר איני בודל מהם כל בין השמשות (של ח' ימים) (ב"י בשם א"ח) הרי זה מסתפק מהם בכל עת שירצה שהרי לא הקצה אותם ולא חלה עליהם קדושת הסוכה ולא נחשבו כמותה ודוקא שמתנה בזה הלשון אבל אם אמר אני מתנה עליהם לאכלן כשיפלו אינו כלום ואם אמר אני מתנה עליהם לאכלם אימתי שארצה מהני שגם בין השמשות בכלל: הגה וצריך לעשות התנאי קודם בין השמשות הראשון [ד"ע כסברת א"ח שהביא הב"י ולא כמהרי"ל] יש מן האחרונים שכתבו דבזמן הזה אין נוהגים להתנות [מהרי"ל] והכי נהוג בנויין התלוים בסכך אבל בנויין שנותנים בדפנות כגון סדינים המצויירים נוהגין לטלטלם מפני הגשמים אפי' בלא תנאי משום דיש אומרים דאין אסור אפי' בדפנות עצמן כל שכן בנויין ומ"מ טוב להתנות עליהם [ד"מ] אם סכך בהדס או תלה בסוכה אתרוג לנוי מותר להריח בו דלא הוקצה מריח רק שלא יגע בו דאסור בטלטול ויש אוסרים בהדס [ר"ן ס"פ לולב הגזול] כדלקמן סי' תרנ"ג:
(יא) כדי לנאותה - ואם יודע שהילדים יאכלו מהם מוטב שלא לתלותם שינתקו החוטים ויבואו לידי חלול שבת וגם שמא יבואו לאכלם אכן אם יכול לתלותם בגובה שלא יוכלו הילדים להגיע לשם או שאין לו ילדים מצוה לתלות נוי סוכה [א"ר בשם ס"ח רס"ג] גם בשל"ה כתב דראוי ליפות הסוכה בקרמין וסדינין ולתלות בה פירות חשובין:
...In order to decorate it--if he knows that his children will eat them, better not to hang them so the strings will be break and they will end up violating Shabbat. Also, if they end up eatin them, it's better to hang them up high so that the children could not reach them. If he does not have children, there is still a mitzvah to hang them in order to decorate the succah. It is appropriate to beautify succah with tapestries and fine cloth and to hang in it distinguished fruit.
(יב) אסור להסתפק מהם - דביזוי הוא להמצוה כשמסתפק מהם:
One is not allowed to benefit from them because it's a degradation of the mitzvah.
(Summary)
1. One can remove tapestries if he is concerned about theft.
2. It is better to stipulate apriori abouth further usage of the decorations
3. If one will be removing the decorations from the succah, he should be careful in tying them in a temporary manner.
4. Do not hang up curtains made of shaatnez.
5. One should not carve a pasuk into a pumpkin.
6. One should be careful about nor writing a complete pasuk unless it's for learning.
There is a split in opinion of the poskim whether one is allowed to decorate the succah with pesukim. Some forbid it, based on the concept that only for the purposes of learning one is allowed to write sections of the Torah. And some permit it, since there is a learning component. Practically, one is allowed to be lenient, on the condition that one does not write pesukim in a way that a kosher sefer torah is written.