ECTS Informacijski paket za akademsku godinu 2026. / 2027.

Dizajn upita za velike jezične modele

 

Naziv
Dizajn upita za velike jezične modele
Organizacijska jedinica
Digitalna lingvistika
ECTS
3
Šifra
295669
Semestri
zimski
Nastavnici
Satnica
Predavanja
15
Seminar
15

Cilj
Cilj je kolegija pružiti studentima teorijsko razumijevanje arhitekture velikih jezičnih modela (VJM) te praktične kompetencije u dizajnu upita. Studenti će usvojiti znanja o lingvističkim i računalnim principima na kojima počivaju VJM-ovi te ovladati naprednim tehnikama formuliranja i optimizacije upita. Kolegij ima za cilj osposobiti studente za kritičko vrednovanje kvalitete, pouzdanosti i etičkih implikacija strojno generiranog teksta. Kroz projektno orijentiran rad, studente se priprema za učinkovitu integraciju VJM-ova u istraživačke procese i profesionalno okruženje unutar humanističkih i društvenih znanosti.
Sadržaj
  1. Uvod u velike jezične modele.
  2. Kako rade VJM-ovi.
  3. Načela dizajna upita.
  4. Napredne strategije I.
  5. Napredne strategije II.
  6. Kontrola izlaza: Parametri.
  7. Definiranje projekta i metodologije.
  8. Halucinacije, točnost i evaluacija.
  9. Etika, autorska prava i privatnost.
  10. VJM za istraživanje i akademsko pisanje.
  11. VJM u digitalnoj lingvistici.
  12. Konzultacije o projektima i vršnjačko vrednovanje.
  13. Budućnost VJM-ova: Multimodalnost i agenti.
  14. Završne prezentacije studentskih projekata I.
  15. Završne prezentacije studentskih projekata II.

Ishodi učenja
  1. 1. Objasniti temeljna načela funkcioniranja i arhitekture velikih jezičnih modela.
  2. Primijeniti napredne strategije dizajna upita (npr. zero-shot, few-shot, chain-of-thought) za rješavanje specifičnih jezičnih i informacijskih problema.
  3. Kritički vrednovati rezultate koje generiraju VJM-ovi s obzirom na točnost, halucinacije, algoritamsku pristranost i stilske značajke.
  4. Dizajnirati i provesti samostalni projekt koji učinkovito integrira VJM u istraživački proces ili profesionalni zadatak unutar društvene i/ili humanističke domene.
  5. Argumentirati etičke i pravne izazove korištenja VJM-ova, s naglaskom na privatnost podataka, autorska prava i akademski integritet.
Metode podučavanja
Predavanja, rad na računalima, sustav učenja na daljinu, seminari i radionice, samostalni zadaci, multimedij i mreže.
Metode ocjenjivanja
Konačna ocjena formira se na temelju kontinuiranog praćenja rada tijekom semestra te kvalitete samostalnog projekta. S obzirom na to da je kolegij projektno orijentiran, ne provodi se klasični pismeni ispit, već završni pisani izvještaj o projektu zamjenjuje ispitnu obvezu.
Elementi ocjenjivanja:
1. Aktivnost na nastavi i praktične vježbe (20%).
2. Prijedlog projekta (10%).
3. Prezentacija projekta (20%).
4. Završni pisani izvještaj (50%).
Uvjet za prolaz: Student mora ostvariti minimalno 50% bodova iz Završnog pisanog izvještaja kako bi položio kolegij, neovisno o bodovima prikupljenim u ostalim kategorijama.

Obavezna literatura
  1. Wei, Jason, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Fei Xia, Ed Chi, Quoc V. Le, and Denny Zhou. "Chain-of-thought prompting elicits reasoning in large language models." Advances in neural information processing systems 35 (2022): 24824-24837.
  2. Bender, Emily M., Timnit Gebru, Angelina McMillan-Major, and Shmargaret Shmitchell. "On the dangers of stochastic parrots: Can language models be too big?🦜." In Proceedings of the 2021 ACM conference on fairness, accountability, and transparency, pp. 610-623. 2021.
  3. OpenAI & Microsoft. Official Prompt Engineering Guides.
  4. Zhao, Wayne Xin, Kun Zhou, Junyi Li, Tianyi Tang, Xiaolei Wang, Yupeng Hou, Yingqian Min et al. "A survey of large language models." arXiv preprint arXiv:2303.18223 1, no. 2 (2023).
  5. Kojima, Takeshi, Shixiang Shane Gu, Machel Reid, Yutaka Matsuo, and Yusuke Iwasawa. "Large language models are zero-shot reasoners." Advances in neural information processing systems 35 (2022): 22199-22213.
Dopunska literatura
  1. Bubeck, Sébastien, Varun Chandrasekaran, Ronen Eldan, Johannes Gehrke, Eric Horvitz, Ece Kamar, Peter Lee et al. "Sparks of artificial general intelligence: Early experiments with gpt-4." arXiv preprint arXiv:2303.12712 (2023). https://arxiv.org/abs/2303.12712
  2. Yao, Shunyu, Dian Yu, Jeffrey Zhao, Izhak Shafran, Tom Griffiths, Yuan Cao, and Karthik Narasimhan. "Tree of thoughts: Deliberate problem solving with large language models." Advances in neural information processing systems 36 (2023): 11809-11822. https://proceedings.neurips.cc/paper_files/paper/2023/file/271db9922b8d1f4dd7aaef84ed5ac703-Paper-Conference.pdf
  3. Vaswani, Ashish, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, and Illia Polosukhin. "Attention is all you need." Advances in neural information processing systems 30 (2017). https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf
  4. Ouyang, Long, Jeffrey Wu, Xu Jiang, Diogo Almeida, Carroll Wainwright, Pamela Mishkin, Chong Zhang et al. "Training language models to follow instructions with human feedback." Advances in neural information processing systems 35 (2022): 27730-27744. https://proceedings.neurips.cc/paper_files/paper/2022/file/b1efde53be364a73914f58805a001731-Paper-Conference.pdf

Izborni kolegij na studijima
Novi i reformirani studiji
  1. Digitalna lingvistika, sveučilišni diplomski jednopredmetni studij, 1., 3. semestar
Fakultetska ponuda
  • Diplomski studij: Zimski semestar