Для цитирования:
Девяткин Д. А., Салимовский В. А., Чудова Н. В., Рыжова А. А., Григорьев О. Г. Большие языковые модели и жанрово-речевая системность // Жанры речи. 2025. Т. 20, вып. 1 (45). С. 6-23. DOI: 10.18500/2311-0740-2025-20-1-45-6-23, EDN: FISZEX
Большие языковые модели и жанрово-речевая системность
В статье исследуется применение большой языковой модели (БЯМ) при решении задачи идентификации речевых жанров. Искусственные нейронные сети, эффективно используемые во многих важных областях, имеют, однако, серьезный недостаток: механизм их функционирования скрыт от исследователей. Поэтому результаты их применения не получают объяснения. Цель работы – определить базовые закономерности функционирования лингвистического модуля БЯМ (глубокой нейронной сети с архитектурой «Трансформер») и тем самым обеспечить интерпретируемость предоставляемых ею данных. Рассматриваются два жанра научных текстов – «Описание нового для науки явления» и «Экспликация научного понятия». Верифицируется гипотеза, согласно которой признаковое пространство, создаваемое БЯМ, базируется на речевой системности распознаваемого жанра. Обосновывается положение о том, что, поскольку жанрово-речевая системность детерминируется экстралингвистическими факторами, прежде всего характеристиками человеческого сознания, ее проявления, отражаемые во внутреннем состоянии БЯМ, могут быть использованы для моделирования воплощаемых в речи когнитивных процессов. Анализируются существующие подходы к интерпретации БЯМ. Описан применяемый метод интерпретации сетей-трансформеров. Предлагается лингвистическая трактовка предварительного обучения и дообучения БЯМ: предварительное обучение на больших корпусах текстов позволяет относительно полно отображать ресурсы языка – систему языковых единиц и общих принципов их использования; при дообучении же на образцах определенной жанрово-речевой организации происходит перестройка языковой системности в системность речевую. Декодирование внутреннего состояния БЯМ точно воспроизвело состав и частоту употребления лексических средств, образующих обучающую выборку. Показатель качества распознавания БЯМ каждого из рассмотренных жанров в результате отображения их речевой системности – F1 0,99.
- Abhilasha R., Belinkov Y., Hovy E. Probing the probing paradigm: Does probing accuracy entail task relevance? // Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics. 2021. Main Vol. P. 3363–3377. https://doi.org/10. 48550/arXiv2005.00719
- Amini A., Pimentel T., Meister C., Cotterell R. Naturalistic Causal Probing for Morpho-Syntax // Transactions of the ACL. 2023. Vol. 11. P. 384–403. https://doi.org/10.1162/tacl_a_00554
- Devlin J., Chang M.-W., Lee K., Toutanova K. Bert: Pre-training of deep bidirectional transformers for language understanding // Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 2019. Volume 1 (Long and Short Papers). P. 4171–4186. https://doi.org/10.18653/v1/N19-1423
- Hewitt J., Ethayarajh K., Liang P., Manning C. D. Conditional probing: Measuring usable information beyond a baseline // Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing. 2021. November. P. 1626–1639. https://doi.org/10.18653/v1/2021.emnlpmain.122
- Hewitt J., Manning C. D. A structural probe for finding syntax in word representations // Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 2019. Vol. 1 (Long and Short Papers). P. 4129– 4138.
- Krogh A., Hertz J. A. Generalization in a linear perceptron in the presence of noise // Journal of Physics A: Mathematical and General. 1992. Vol. 25, № 5. P. 1135– 1147–1147.
- Kuznetsova Y., Chudova N., Salimovsky V., Sharypina D., Devyatkin D. Possibilities of Automatic Detection of Reactions to Frustration in Social Networks // CEUR Workshop Proceedings. IMS 2021. Proceedings of the International Conference “Internet and Modern Society”. Saint Petersburg, 2021. P. 159–168.
- Kuznetsov I., Gurevych I. A matter of framing: The impact of linguistic formalism on probing results // Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP). 2020. November. P. 171–182. https://doi.org/10.18653/v1/2020.emnlpmain.13
- Pavlick E. Semantic structure in deep learning // Annual Review of Linguistics. 2022. Vol. 8. P. 447–471.
- Ravfogel S., Prasad G., Linzen T., Goldberg Y. Counterfactual interventions reveal the causal effect of relative clause representations on agreement prediction // Proceedings of the 25th Conference on Computational Natural Language Learning. 2021. November. https://doi.org/10.18653/v1/2021.conll-1.15
- Tenney I., Xia P., Chen B., Wang A., Poliak A., McCoy R. T., Kim N., Durme B. Van, Bowman S., Das D., Pavlick E. What do you learn from context? Probing for sentence structure in contextualized word representations // International Conference on Learning Representations. 2019. https://doi.org/10.48550/arXiv.1905.06316
- Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A. N., Kaiser Ł., Polosukhin I. Attention is all you need // Advances in neural information processing systems. 2017. Vol. 30. P. 5998–6008.
- Yan X., Han J. Graph-based substructure pattern mining // IEEE International Conference on Data Mining, 2002. Proceedings. P. 721–724. https://doi.org/10.1109/ICDM.2002.1184038
- Zhu Z., Pan Ch., Abdalla M., Rudzicz F. Examining the rhetorical capacities of neural language models // Proceedings of the Third BlackboxNLP Workshop on Analyzing and Interpreting Neural Networks for NLP. 2020. P. 16–32. https://doi.org/10.1865.v1.2020blackboxnlp-1.3
- Zmitrovich D., Abramov A., Kalmykov A., Tikhonova M., Taktasheva E., Astafurov D., Baushenko M., Snegirev A., Kadulin V., Markov S., Shavrina T., Mikhailov V., Fenogenova A. A Family of Pretrained Transformer Language Models for Russian // Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024). Torino, Italia, 2024. P. 507–524.
- Арутюнова Н. Д. Жанры общения // Человеческий фактор в языке: коммуникация, модальность, дейксис : кол. монография / отв. ред. Т. В. Булыгина. М. : Наука, 1992. С. 52–56.
- Балашова Л. В., Дементьев В. В. Русские речевые жанры. М. : Издат. Дом ЯСК, 2022. 832 с.
- Бахтин М. М. Проблема речевых жанров // Бахтин М. М. Эстетика словесного творчества. М. : Искусство, 1979. С. 237–280.
- Выготский Л. С. Мышление и речь. М. ; Л. : Гос. соц.-эконом. изд-во, 1934. 324 с.
- Гаузенблас К. Существует ли «нейтральный стиль»? // Функциональная стилистика: теория стилей и их языковая реализация. Пермь : Перм. ун-т, 1986. С. 19–22.
- Головин Б. Н. Основы культуры речи. М. : Высш. шк., 1988. 320 с.
- Дементьев В. В. Теория речевых жанров. М. : Знак, 2010. 600 с.
- Дускаева Л. Р. Диалогическая природа газетных речевых жанров. СПб. : Изд-во СПбГУ, 2012. 274 с.
- Дьяченко С. В., Иомдин Л. Л., Митюшин Л. Г., Лазурский А. В., Подлесская О. Ю., Сизов В. Г., Фролова Т. И., Цинман Л. Л. Современное состояние глубоко аннотированного корпуса текстов русского языка (СинТагРус) // Труды Института русского языка им. В. В. Виноградова. 2015. Т. 3 (6). С. 272–300.
- Ениколопов С. Н., Медведева Т. И., Воронцова О. Ю. Лингвистические характеристики текстов при депрессии и шизофрении // Медицинская психология в России. 2019. T. 11, № 5 (58). URL: http://mprj.ru/archiv_global/2019_5_58/nomer02.php (дата обращения: 20.02.2024).
- Кожина М. Н. О речевой системности научного стиля сравнительно с некоторыми другими. Пермь : Перм. ун-т, 1972. 396 с.
- Кожина М. Н. Речеведение: теория функциональной стилистики: избранные труды. М. : Флинта ; Наука, 2020. 624 с.
- Костомаров В. Г. Наш язык в действии. М. : Гардарики, 2005. 287 с.
- Лагутина К. В., Бойчук Е. И., Лагутина Н. С. Автоматическая классификация русскоязычных интернет- текстов по жанрам // Искусственный интеллект и принятие решений. 1923. № 4. С. 103–114. https://doi.org/10.14357/20718594230410
- Ляшевская О. Н., Плунгян В. А., Сичинава Д. В. О морфологическом стандарте Национального корпуса русского языка // Национальный корпус русского языка: 2003–2005. М. : Индрик, 2005. С. 111–135.
- Матвеева Т. В. Статьи по русской стилистике. М. : Флинта, 2024. 392 с.
- Матвеева Т. В. Функциональные стили в аспекте текстовых категорий. Свердловск : Изд-во Урал. ун-та, 1990. 172 с.
- Новиков Д. А. Интервью от 26.07.2022. URL: https://new.ras.ru/mir-nauky/news/vokrug-iskusstvennogo-intellekta-sklad... (дата обращения: 20.02.2024).
- Осипов Г. С. Методы искусственного интеллекта. М. : Физматлит, 2011. 296 с.
- Салимовский В. А. Жанры речи в функционально-стилистическом освещении (научный академический текст). Пермь : Изд-во Перм. ун-та, 2002. 236 с.
- Седов К. Ф. Общая и антропоцентрическая лингвистика. М. : Языки славянской культуры, 2016. 440 с.
- Солганик Г. Я. Современная публицистическая картина мира // Публицистика и информация в современном обществе : сборник статей. М. : Изд-во МГУ, 2000. С. 9–23.
- Суворов Р. Е., Соченков И. В. Определение связанности научно-технических документов на основе характеристики тематической значимости // Искусственный интеллект и принятие решений. 2013. № 1. С. 33–40.
- Хализев В. Е. Теория литературы. М. : Высш. шк., 2002. 437 с.