Вестник УлГТУ
Васильев Д.С., Романов А.А. Исследование эффективной схемы построения системы дообучения большой языковой модели в условиях авиастроительного производства
Cite. Dmitry S. Vasiliev, Anton A. Romanov Study of an effective scheme for constructing a system for additional training of a large language model in the conditions of aircraft manufacturing // Bulletin of Ulyanovsk State Technical University 111(3), 33-38 (2025).
Abstract. An effective scheme for fine-tuning large language models (LLMs) on the internal documentation of an aircraft manufacturing enterprise is considered. The methods for adapting models using parametric learning (QLoRA), generation with external data extraction (RAG), vector representations (embeddings) and dialogue organization frameworks (LangChain), as well as a search platform (Elasticsearch) are proposed. The developed prototype of a chatbot for conducting negotiations in production, the effectiveness of the proposed retraining scheme has been experimentally proven, showed a significant increase in the accuracy of the response, acceptable system speed and low costs for retraining.
Keywords: aircraft manufacturing, automation, large language models, domain, model retraining, embeddings, information technology in aircraft manufacturing, chatbot, LLM, QLoRA, RAG, LangChain, Elasticsearch.
Цитата. Дмитрий Сергеевич Васильев, Антон Алексеевич Романов Исследование эффективной схемы построения системы дообучения большой языковой модели в условиях авиастроительного производства // Вестник Ульяновского государственного технического университета. 2025. №3. С. 33-38
Аннотация. Рассматривается эффективная схема дообучения больших языковых моделей (LLM) на внутренней документации авиастроительного предприятия. Предложены методы адаптации моделей с использованием параметрического дообучения (QLoRA), генерации с привлечением внешних данных (RAG), векторных представлений (embeddings) и фреймворков организации диалога (LangChain), а также поисковой платформы (Elasticsearch). Разработан прототип чат-бота для ответов на производственные вопросы, экспериментально доказана эффективность предлагаемой схемы дообучения, показано существенное улучшение точности ответов, приемлемая скорость работы системы и низкие затраты на дообучение.
Ключевые слова: авиастроение, автоматизация, большие языковые модели, домен, дообучение моделей, информационные технологии в авиастроении, чат-бот, LLM, QLoRA, RAG, embeddings, LangChain, Elasticsearch.
doi: 10.61527/1684-7016-2025-3-33-38