LoRA hay tinh chỉnh toàn bộ: chiến lược nào để chọn cho các mô hình IA của bạn?

LoRA hay Full Fine-Tuning: Chiến Lược Fine-Tuning Nào Nên Chọn cho Mô Hình AI của Bạn?

Trong một thế giới ngày càng bị chi phối bởi trí tuệ nhân tạo (AI), việc điều chỉnh các mô hình ngôn ngữ theo các nhu cầu công việc cụ thể đã trở thành một vấn đề chiến lược đối với nhiều doanh nghiệp. Các mô hình kiểu Transformer, như LLaMA, Mistral, Phi, Qwen hay GPT, là những công cụ mạnh mẽ có khả năng hiểu và tạo ra văn bản, nhưng chúng thường cần được tùy chỉnh để đáp ứng các yêu cầu đặc thù.

Fine-tuning là một trong những phương pháp hiệu quả nhất để điều chỉnh các mô hình này cho các nhiệm vụ cụ thể hoặc các ngành nghề đặc thù, như tài chính, y tế, hoặc thương mại điện tử. Tuy nhiên, có nhiều cách tiếp cận khác nhau để thực hiện fine-tuning này, mỗi cách đều có ưu và nhược điểm riêng. Trong số đó, có ba phương pháp nổi bật: LoRA (Low-Rank Adaptation), full fine-tuning, và fine-tuning với đóng băng các tham số (freeze các trọng số).

Trong bài viết này, chúng tôi sẽ khám phá sâu ba kỹ thuật này và giúp bạn hiểu kỹ thuật nào phù hợp nhất với nhu cầu điều chỉnh tinh vi của bạn. Dù bạn là nhà phát triển hay người phụ trách chuyển đổi số trong một công ty, bạn sẽ khám phá ra những điều tinh tế của các phương pháp này, được minh họa bằng các ví dụ mã cụ thể.

Tinh Chỉnh: Tại Sao và Khi Nào Sử Dụng?

Trước khi đi sâu vào so sánh giữa LoRA, fine-tuning toàn phần và fine-tuning với đóng băng trọng số, điều quan trọng là phải hiểu tại sao fine-tuning lại là một bước then chốt trong việc tích hợp các mô hình ngôn ngữ vào các giải pháp AI doanh nghiệp. Các mô hình lớn đã được huấn luyện trước, như GPT-4, LLaMA 3, hoặc Mistral, được huấn luyện trên hàng tỷ dữ liệu tổng quát, nhưng chúng không phải lúc nào cũng phù hợp hoàn hảo với các ngành cụ thể. Dưới đây là một số lý do tại sao fine-tuning lại quan trọng:

1. Điều chỉnh theo dữ liệu cụ thể: Dữ liệu nội bộ của một doanh nghiệp, dù là dữ liệu văn bản hay các tương tác cụ thể (ví dụ, các cuộc trò chuyện với khách hàng), thường khác với dữ liệu được sử dụng để tiền huấn luyện mô hình. Việc tinh chỉnh cho phép huấn luyện một mô hình trên những dữ liệu mới này để cải thiện hiệu suất của nó trên các nhiệm vụ cụ thể.

2. Giảm lỗi: Trong các lĩnh vực quan trọng như y học, tài chính hoặc pháp luật, một mô hình không được tinh chỉnh kỹ lưỡng có thể mắc những lỗi tốn kém. Việc tinh chỉnh (fine-tuning) cho phép cải thiện độ chính xác của mô hình bằng cách tính đến những sắc thái đặc thù của lĩnh vực.

3. Cá nhân hóa câu trả lời: Đối với các ứng dụng kiểu chatbot hoặc trợ lý ảo, điều quan trọng là mô hình tạo ra các câu trả lời phù hợp với phong cách giao tiếp của doanh nghiệp. Việc tinh chỉnh cho phép điều chỉnh giọng điệu, phong cách và cách thức mà các câu trả lời được trình bày.

LoRA: Một Phương Thức Thích Ứng Nhẹ Nhàng và Hiệu Quả

LoRA (Điều chỉnh Thấp cấp) là một phương pháp gần đây và đổi mới được phát triển để đáp ứng các thách thức đặt ra bởi việc tinh chỉnh các mô hình có kích thước rất lớn. LoRA là một phương pháp tinh chỉnh đặc biệt phù hợp khi bạn muốn điều chỉnh một mô hình cho một nhiệm vụ cụ thể đồng thời giảm thiểu việc sử dụng tài nguyên máy tính, đặc biệt là bộ nhớ (VRAM) và sức mạnh tính toán.

LoRA hoạt động như thế nào?

LoRA hoạt động bằng cách đưa vào các ma trận bậc thấp (low-rank) trong một số lớp của mô hình Transformer. Thay vì điều chỉnh trực tiếp tất cả các trọng số của mô hình, LoRA chèn các ma trận này vào các mô-đun cụ thể (như các lớp chiếu của Transformer) và chỉ huấn luyện các ma trận mới này. Trong khi đó, các trọng số gốc của mô hình vẫn bị đóng băng, điều này cho phép bảo tồn kiến thức chung đã được học trong quá trình tiền huấn luyện.

Dưới đây là các đặc điểm chính của LoRA:

1. Đóng băng các trọng số chính : Các trọng số của mô hình được huấn luyện trước được đóng băng, điều này cho phép giữ lại kiến thức đã thu được trong giai đoạn huấn luyện trước. Điều này có nghĩa là mô hình không "quên" các kỹ năng tổng quát, một vấn đề thường gặp trong việc tinh chỉnh toàn bộ khi được quản lý kém.

2. Sử dụng ma trận bậc thấp: Ma trận LoRA là những điều chỉnh nhẹ cho phép chuyên môn hóa mô hình mà không cần thay đổi phần lớn trọng số gốc. Phương pháp này đặc biệt hiệu quả để tích hợp kiến thức chuyên môn trong khi vẫn giữ được dấu chân bộ nhớ thấp.

3. Tiết kiệm VRAM và tính toán : Vì chỉ các ma trận LoRA nhỏ được cập nhật, việc sử dụng bộ nhớ VRAM được giảm đáng kể so với việc tinh chỉnh toàn bộ. Điều này làm cho LoRA cực kỳ hiệu quả để tinh chỉnh các mô hình có kích thước lớn (như LLaMA) trên các máy có ít tài nguyên GPU.

4. Phòng ngừa overfitting: Bằng cách giới hạn số lượng tham số được điều chỉnh, LoRA giảm nguy cơ overfitting (hay còn gọi là quá khớp), một hiện tượng mà mô hình trở nên quá chuyên biệt đối với dữ liệu huấn luyện và mất khả năng tổng quát hóa trên dữ liệu mới.

Ví dụ về các kịch bản sử dụng LoRA

• Chatbot và Trợ lý ảo: Giả sử bạn có một trợ lý ảo được huấn luyện trước trên dữ liệu chung. Bạn muốn điều chỉnh nó để phục vụ các cuộc trò chuyện chuyên môn hơn, như tương tác với khách hàng trong lĩnh vực bảo hiểm. LoRA cho phép chuyên môn hóa trợ lý mà không làm mất đi khả năng xử lý ngôn ngữ chung của nó.

• Công cụ Tìm kiếm Nội bộ: Nếu bạn tích hợp một mô hình tìm kiếm được tăng cường bằng truy xuất thông tin (RAG) cho các cơ sở dữ liệu nội bộ (ví dụ, các tài liệu pháp lý hoặc kỹ thuật), LoRA có thể giúp điều chỉnh mô hình để hiểu và xử lý tốt hơn các truy vấn đặc thù của lĩnh vực của bạn, đồng thời vẫn giữ khả năng quản lý các tìm kiếm chung.

Ví dụ về mã với LoRA

from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM, AutoTokenizer, Trainer, TrainingArguments

# Charger le modèle pré-entraîné LLaMA et le tokenizer
model = AutoModelForCausalLM.from_pretrained("path/to/llama3")
tokenizer = AutoTokenizer.from_pretrained("path/to/llama3")

# Configurer LoRA avec des matrices de faible rang
lora_config = LoraConfig(
    r=8,               # Taille de la matrice de faible rang
    lora_alpha=32,      # Facteur de mise à l'échelle
    target_modules=["q_proj", "v_proj"],  # Modules cibles (couches de projection)
    lora_dropout=0.1,   # Dropout pour prévenir le surajustement
)

# Appliquer LoRA au modèle pré-entraîné
model = get_peft_model(model, lora_config)

# Préparer les données d'entraînement métiers
train_dataset = ...  # Charger ou préparer vos données métiers

# Définir les arguments d'entraînement
training_args = TrainingArguments(
    output_dir='./results',
    per_device_train_batch_size=8,
    num_train_epochs=3,
    logging_dir='./logs',
)

# Créer et lancer l'entraîneur (Trainer)
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
)

trainer.train()

Tinh Chỉnh Toàn Diện: Một Sự Điều Chỉnh Hoàn Chỉnh, nhưng Tốn Kém Hơn

Việc full fine-tuning bao gồm việc đào tạo tất cả các trọng số của mô hình trên dữ liệu mới. Cách tiếp cận này thường được sử dụng khi bạn cần chuyên môn hóa toàn bộ của mô hình cho một nhiệm vụ cụ thể. Khác với LoRA, nơi chỉ một vài tham số được điều chỉnh, full fine-tuning cập nhật toàn bộ mô hình, từng lớp một.

Lợi ích của Việc Tinh Chỉnh Toàn Diện

1. Điều chỉnh tối đa: Vì tất cả các trọng số của mô hình đều được cập nhật, việc tinh chỉnh toàn bộ cho phép thực hiện một sự chuyên môn hóa hoàn chỉnh. Điều này có thể đặc biệt hữu ích trong các lĩnh vực mà dữ liệu mới khác biệt đáng kể so với dữ liệu mà mô hình đã được tiền huấn luyện.

2. Hiệu suất tốt hơn trên các nhiệm vụ rất chuyên môn: Đối với các nhiệm vụ phức tạp hoặc chuyên môn cao, chẳng hạn như phát hiện các bất thường cụ thể hoặc hiểu các văn bản kỹ thuật phức tạp, việc điều chỉnh toàn bộ mô hình (full fine-tuning) cho phép tinh chỉnh mô hình ở mọi cấp độ. Điều này biến nó thành một công cụ rất mạnh cho các ứng dụng đòi hỏi chuyên môn sâu.

Nhược điểm của việc Tinh Chỉnh Toàn Diện

1. Tiêu thụ tài nguyên cao: Nhược điểm chính của việc tinh chỉnh toàn phần là chi phí về tài nguyên GPU. Vì tất cả các tham số đều được cập nhật, phương pháp này đòi hỏi một lượng lớn VRAM, đặc biệt là đối với các mô hình có kích thước lớn như LLaMA hoặc GPT-4. Điều này có thể hạn chế việc sử dụng nó cho các công ty sở hữu cụm GPU mạnh mẽ.

2. Nguy cơ tăng cường quá khớp: Nếu tập dữ liệu có kích thước hạn chế hoặc rất cụ thể, việc tinh chỉnh đầy đủ có thể dẫn đến hiện tượng quá khớp. Trong trường hợp này, mô hình có thể mất khả năng tổng quát hóa cho các nhiệm vụ chung hơn.

3. Thời gian huấn luyện dài hơn : Việc tinh chỉnh toàn bộ các mô hình lớn có thể mất vài ngày, thậm chí vài tuần, tùy thuộc vào kích thước mô hình và khối lượng dữ liệu huấn luyện.

Khi nào nên sử dụng Tinh Chỉnh Toàn Diện?

Điều chỉnh toàn bộ được khuyến nghị khi:

• Bạn có quyền truy cập vào nguồn tài nguyên GPU quan trọng và đủ VRAM để huấn luyện một mô hình kích thước lớn.
• Bạn có khối lượng dữ liệu chuyên biệt lớn cho lĩnh vực của mình và muốn mô hình được điều chỉnh hoàn toàn cho những dữ liệu mới này.
• Bạn có các nhiệm vụ cực kỳ chuyên môn nơi hiệu suất và độ chính xác là quan trọng.

Ví dụ mã cho việc Tinh Chỉnh Toàn Bộ

from transformers import AutoModelForCausalLM, AutoTokenizer, Trainer, TrainingArguments

# Charger le modèle pré-entraîné LLaMA
model = AutoModelForCausalLM.from_pretrained("path/to/llama3")
tokenizer = AutoTokenizer.from_pretrained("path/to/llama3")

# Préparer les données d'entraînement
train_dataset = ...  # Charger ou préparer vos données métiers

# Définir les arguments d'entraînement
training_args = TrainingArguments(
    output_dir='./results',
    per_device_train_batch_size=4,
    num_train_epochs=3,
    logging_dir='./logs',
)

# Créer l'entraîneur (Trainer)
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
)

# Lancer l'entraînement complet du modèle
trainer.train()

Tinh Chỉnh với Đóng Băng Tham Số (Đóng Băng Trọng Số): Một Sự Thỏa Hiệp Thông Minh

Việc tinh chỉnh với đóng băng các tham số, hay đóng băng trọng số, là một phương pháp trung gian bao gồm việc đóng băng một số lớp của mô hình, trong khi chỉ cho phép huấn luyện một số lớp khác, thường là các lớp cuối gần đầu ra. Phương pháp này cho phép giới hạn việc huấn luyện chỉ trên một phần nhỏ của mô hình, từ đó giảm thiểu dung lượng bộ nhớ (VRAM) và tài nguyên tính toán cần thiết.

Chế độ Tinh Chỉnh Hoạt Động Như Thế Nào với Khóa Trọng Số?

1. Đóng băng các lớp bên trong : Thông thường, các lớp đầu tiên của mô hình được đóng băng. Những lớp này nắm bắt thông tin chung về ngôn ngữ (ví dụ, cú pháp), và chúng không nhất thiết phải được cập nhật cho các nhiệm vụ cụ thể. Bằng cách đóng băng các lớp này, bạn tiết kiệm tài nguyên và bảo vệ kiến thức đã học được trong quá trình tiền huấn luyện.

2. Huấn luyện các lớp cuối cùng : Chỉ các lớp cuối cùng (hoặc đôi khi chỉ riêng đầu ra) được huấn luyện. Điều này cho phép điều chỉnh mô hình với dữ liệu cụ thể trong khi hạn chế chi phí tính toán.

3. Duy trì khả năng tổng quát: Vì chỉ các lớp trên cùng của mô hình được thay đổi, kiến thức tổng quát vẫn nguyên vẹn, đồng thời cho phép mô hình thích nghi với dữ liệu mới. Điều này cung cấp một sự cân bằng tốt giữa chuyên môn hóa và tổng quát hóa.

Lợi ích của Việc Đóng Băng Cân Nặng

• Tiết kiệm bộ nhớ: Bằng cách chỉ cập nhật các lớp cuối cùng, việc sử dụng bộ nhớ được giảm đáng kể.
• Tốc độ huấn luyện nhanh: Việc đóng băng trọng số giảm số lượng tham số cần huấn luyện, giúp quá trình tinh chỉnh diễn ra nhanh hơn.
• Giữ lại kiến thức: Các lớp đầu tiên, nơi nắm bắt các biểu diễn ngôn ngữ chung, được bảo tồn, cho phép mô hình giữ kỹ năng tổng quát của mình.

Ví dụ mã cho việc tinh chỉnh với đóng băng trọng số

from transformers import AutoModelForCausalLM, AutoTokenizer, Trainer, TrainingArguments

# Charger le modèle pré-entraîné LLaMA
model = AutoModelForCausalLM.from_pretrained("path/to/llama3")
tokenizer = AutoTokenizer.from_pretrained("path/to/llama3")

# Geler les premières couches (par exemple, les 8 premières)
for i, param in enumerate(model.base_model.parameters()):
    if i < 8:  # Geler les 8 premières couches
        param.requires_grad = False

# Préparer les données d'entraînement
train_dataset = ...  # Charger ou préparer vos données métiers

# Définir les arguments d'entraînement
training_args = TrainingArguments(
    output_dir='./results',
    per_device_train_batch_size=4,
    num_train_epochs=3,
    logging_dir='./logs',
)

# Créer l'entraîneur (Trainer)
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
)

# Lancer l'entraînement avec gel des poids
trainer.train()

LoRA vs. Huấn Luyện Tinh Chỉnh Toàn Bộ vs. Huấn Luyện Tinh Chỉnh với Khóa Trọng Số: So Sánh Chi Tiết

Hướng tới Các Kỹ Thuật Tinh Chỉnh Hiệu Quả Hơn: QLoRA, DoRA, Galore, QGalore và Thư Viện Unsloth

Trong lĩnh vực tinh chỉnh các mô hình ngôn ngữ quy mô lớn, các kỹ thuật mới tiếp tục xuất hiện để làm cho quy trình này trở nên hiệu quả và dễ tiếp cận hơn. Trong số những kỹ thuật gần đây và đầy hứa hẹn, chúng ta có QLoRA, DoRA, Galore, QGalore, cũng như thư viện Unsloth. Những đổi mới này nhằm tối ưu hóa hơn nữa hiệu suất của các mô hình trong khi giảm thiểu việc sử dụng tài nguyên phần cứng, đặc biệt là bộ nhớ VRAM và chi phí tính toán.

• QLoRA (Tinh chỉnh Thấp Hạng Lượng tử hóa): QLoRA là một sự phát triển của phương pháp LoRA, tích hợp lượng tử hóa trọng số trong quá trình tinh chỉnh. Trong thực tế, điều này có nghĩa là QLoRA cho phép giảm kích thước các tham số của mô hình (thường với lượng tử hóa 4 bit) mà không làm giảm đáng kể hiệu suất của mô hình. Phương pháp này lý tưởng cho các doanh nghiệp có tài nguyên GPU hạn chế, vì nó cho phép tinh chỉnh các mô hình rất lớn như LLaMA với mức tiêu thụ bộ nhớ thậm chí còn thấp hơn. QLoRA giữ lại những lợi ích của LoRA về mặt thích ứng nhanh và nhẹ, đồng thời tối đa hóa hiệu quả bộ nhớ.

• DoRA (Phân tán Thích nghi Ma trận Thấp): DoRA mở rộng khái niệm của LoRA bằng cách phân tán việc thích nghi các ma trận bậc thấp trên các hệ thống phân tán. Điều này cho phép huấn luyện các mô hình lớn hơn nữa một cách song song trên nhiều máy hoặc GPU, đồng thời tận dụng được lợi ích về giảm chi phí bộ nhớ và tính toán mà LoRA cung cấp. Cách tiếp cận này đặc biệt phù hợp cho các doanh nghiệp muốn khai thác các kiến trúc tính toán phân tán nhằm tối đa hóa tốc độ huấn luyện trên các hạ tầng đa GPU.

• Galore (Điều Chỉnh Thấp Hạng Nhận Thức Theo Gradient) : Galore là một phiên bản nâng cao của LoRA, giới thiệu một phương pháp tinh vi hơn để quản lý gradient trong quá trình fine-tuning. Galore điều chỉnh các ma trận hạng thấp một cách thích ứng, xem xét độ lớn của gradient cho từng lớp của mô hình. Điều này cho phép điều chỉnh chính xác hơn các tham số của mô hình, dẫn đến hiệu suất cao hơn trong khi vẫn giữ được hiệu quả bộ nhớ đặc trưng của LoRA. Galore đặc biệt hữu ích khi dữ liệu huấn luyện mới rất không đồng nhất, cần các điều chỉnh tinh tế hơn trong một số lớp của mô hình.

• QGalore (Chuẩn hóa Nhận thức Gradient Thấp và Điều chỉnh Hạng Thấp) : QGalore kết hợp sức mạnh của QLoRA và Galore. Bằng cách tích hợp việc lượng tử hóa (như QLoRA) và điều chỉnh gradient thích ứng (như Galore), QGalore đề xuất một giải pháp fine-tuning cực kỳ hiệu quả về mặt sử dụng bộ nhớ và hiệu suất. Phương pháp này lý tưởng cho các kịch bản mà việc giảm thiểu tài nguyên phần cứng là quan trọng, mà không đánh đổi độ chính xác của việc điều chỉnh mô hình. QGalore nổi bật với khả năng tối ưu hóa các mô hình lớn trên các môi trường tính toán hạn chế.

• Unsloth: Thư viện Unsloth là một công cụ sáng tạo được thiết kế để đơn giản hóa việc sử dụng các kỹ thuật tiên tiến này, chẳng hạn như LoRA, QLoRA, Galore và các biến thể của chúng, đồng thời tối ưu hóa việc huấn luyện mô hình trên các cơ sở hạ tầng kém mạnh mẽ hơn. Unsloth chuyên về tích hợp các kỹ thuật giảm bộ nhớ, chẳng hạn như lượng tử hóa động và cắt thông minh các tham số. Nó lý tưởng cho các nhóm phát triển muốn tinh chỉnh các mô hình kích thước lớn mà không cần đầu tư vào cơ sở hạ tầng tốn kém. Unsloth cũng cho phép thử nghiệm nhiều cấu hình tinh chỉnh (LoRA, QLoRA, DoRA, v.v.) một cách linh hoạt và mô-đun, từ đó giúp việc thử nghiệm và tối ưu hóa trở nên dễ dàng hơn.

Tại Partitech, chúng tôi luôn đi đầu trong các công nghệ mới này để cung cấp cho khách hàng của mình những giải pháp trí tuệ nhân tạo ngày càng hiệu quả và phù hợp với nhu cầu của họ. Những phương pháp tinh chỉnh mới này, như QLoRA và Galore, cho phép tận dụng tối đa các mô hình ngôn ngữ quy mô lớn đồng thời duy trì dung lượng bộ nhớ và chi phí tính toán ở mức thấp. Bằng cách kết hợp chuyên môn của chúng tôi với những kỹ thuật tiên tiến này, chúng tôi giúp các đối tác phát triển các giải pháp IA theo yêu cầu, tối ưu và hiệu quả.

Kết luận: Nên Chọn Chiến Lược Nào Cho Các Mô Hình AI Của Bạn?

Lựa chọn giữa LoRA, tinh chỉnh toàn bộ và tinh chỉnh với khóa trọng số phụ thuộc vào mục tiêu kinh doanh, tài nguyên của bạn và mức độ chuyên môn hóa mà bạn muốn áp dụng cho mô hình. Dưới đây là một số khuyến nghị chung:

• Chọn LoRA nếu bạn cần một sự chuyên môn hóa nhanh chóng và hiệu quả trong khi vẫn giữ được các kỹ năng chung của mô hình. LoRA đặc biệt phù hợp cho các doanh nghiệp có nguồn lực GPU hạn chế hoặc muốn tinh chỉnh các mô hình lớn như LLaMA mà không cần đầu tư vào cơ sở hạ tầng nặng nề.

• Chọn fine-tuning toàn phần nếu bạn có một lượng lớn dữ liệu chuyên biệt và cơ sở hạ tầng đủ mạnh để huấn luyện một mô hình sâu. Phương pháp này đặc biệt phù hợp với các doanh nghiệp cần một sự chuyên môn hóa hoàn toàn của mô hình, với trọng tâm vào các nhiệm vụ rất chuyên biệt và chính xác.

• Chọn fine-tuning với đóng băng các tham số nếu bạn muốn một sự thỏa hiệp giữa chuyên môn hóa và sử dụng tài nguyên, đồng thời duy trì kỹ năng chung của mô hình. Phương pháp này lý tưởng khi bạn muốn chuyên môn hóa nhẹ mà không cần huấn luyện lại toàn bộ mô hình.

Tóm lại, LoRA cung cấp một phương pháp nhẹ hơn và linh hoạt hơn để tinh chỉnh các mô hình ngôn ngữ đồng thời giảm thiểu tài nguyên cần thiết. Việc tinh chỉnh đầy đủ phù hợp hơn với các nhu cầu cụ thể và khối lượng dữ liệu lớn, trong khi đóng băng trọng số là một lựa chọn thú vị nếu bạn cần một sự điều chỉnh hạn chế nhưng hiệu quả.

Về Partitech

Tại Partitech, chúng tôi chuyên về tích hợp các giải pháp AI tiên tiến, cho dù là fine-tuning các mô hình ngôn ngữ hay triển khai các hệ thống RAG (retrieval-augmented generation) cho cơ sở dữ liệu doanh nghiệp. Các đội ngũ của chúng tôi đồng hành cùng bạn trong từng bước của việc triển khai giải pháp AI tùy chỉnh, với các phương pháp tối ưu hiệu quả như LoRA, full fine-tuning, hoặc fine-tuning với khóa trọng số. Liên hệ với chúng tôi để tìm hiểu thêm về cách chúng tôi có thể giúp bạn tích hợp các giải pháp AI theo yêu cầu và đáp ứng những nhu cầu cụ thể của bạn.

Kiểm tra số lượng tham số thực sự được huấn luyện

Với PEFT, hãy nhắm mục tiêu rõ ràng vào các mô-đun của mô hình và kiểm soát ngay lập tức tỉ lệ các tham số có thể huấn luyện:

from peft import LoraConfig, TaskType, get_peft_model

config = LoraConfig(
    task_type=TaskType.CAUSAL_LM,
    target_modules=["q_proj", "v_proj"],
    r=8,
    lora_alpha=32,
    lora_dropout=0.1,
)
model = get_peft_model(base_model, config)
model.print_trainable_parameters()

Các mô-đun mục tiêu phụ thuộc vào kiến trúc của mô hình. Hãy xác thực chất lượng trên một bộ dữ liệu riêng biệt và luôn so sánh việc thích ứng với mô hình cơ sở. Tham khảo: hướng dẫn chính thức PEFT.