Trao đổi về dự án

Chủ đề

AI

5 bài viết

Trí Tuệ Nhân Tạo

LoRA hay tinh chỉnh toàn bộ: chiến lược nào để chọn cho các mô hình IA của bạn?

LoRA hay Full Fine-Tuning: Chiến Lược Fine-Tuning Nào Nên Chọn cho Mô Hình AI của Bạn? Trong một thế giới ngày càng bị chi phối bởi trí tuệ nhân tạo (AI), việc điều chỉnh các mô hình ngôn ngữ theo các nhu cầu công việc cụ thể đã trở thành một vấn đề chiến lược đối với nhiều doanh nghiệp. Các mô hình kiểu Transformer, như LLaMA, Mistral, Phi, Qwen hay GPT, là những công cụ mạnh mẽ có khả năng hiểu và tạo ra văn bản, nhưng chúng thường cần được tùy chỉnh để đáp ứng các yêu cầu đặc thù. Fine-tun...

Trí Tuệ Nhân Tạo

Hệ thống RAG với txtai — phần 1: tạo tăng cường bằng tìm kiếm

Khám phá thế giới của "Retrieval-Augmented Generation" (RAG) - sự kết hợp đột phá giữa việc truy xuất thông tin và sinh sản ngôn ngữ trong xử lý ngôn ngữ tự nhiên. Tìm hiểu các thành phần chủ chốt, thách thức và cơ hội của công nghệ này, và theo dõi hướng dẫn thực hành để triển khai hệ thống RAG sử dụng TxtAi và Llama.cpp.

Trí Tuệ Nhân Tạo

llama.cpp : chạy một LLM cục bộ

Llama CPP là một công cụ mới được thiết kế để thực hiện các mô hình ngôn ngữ trực tiếp trên C/C++. Công cụ này được tối ưu hóa đặc biệt cho các bộ xử lý Apple Silicon thông qua việc sử dụng công nghệ ARM NEON và bộ khung Accelerate. Nó cũng cung cấp khả năng tương thích AVX2 cho các hệ thống dựa trên kiến trúc x86. Chạy chủ yếu trên CPU, Llama CPP còn tích hợp khả năng lượng tử hóa 4 bit, từ đó cải thiện thêm hiệu quả.