Các chatbot AI dựa trên đám mây như ChatGPT và Gemini mang lại sự tiện lợi đáng kể, nhưng chúng cũng đi kèm với những đánh đổi nhất định về quyền riêng tư và khả năng truy cập. Việc chạy một Mô hình Ngôn ngữ Lớn (LLM) cục bộ – công nghệ nền tảng đằng sau các chatbot AI – giúp bạn hoàn toàn kiểm soát dữ liệu, cho phép truy cập ngoại tuyến và tăng cường bảo mật thông tin cá nhân. Dù nghe có vẻ phức tạp, nhưng với các ứng dụng phù hợp, bất kỳ ai cũng có thể bắt đầu trải nghiệm LLM cục bộ một cách dễ dàng ngay trên thiết bị của mình.
5. Ollama
Ollama là một ứng dụng thân thiện với người dùng, được thiết kế để giúp các cá nhân chạy LLM cục bộ một cách hiệu quả mà không đòi hỏi chuyên môn kỹ thuật sâu. Nó cho phép bạn vận hành các mô hình AI mạnh mẽ trên phần cứng phổ thông như máy tính xách tay. Ollama nổi bật nhờ sự đơn giản và dễ tiếp cận, không yêu cầu thiết lập phức tạp.
Ứng dụng này hỗ trợ nhiều loại mô hình và có sẵn trên macOS, Windows và Linux, đảm bảo người dùng trên mọi nền tảng đều có thể sử dụng. Quá trình cài đặt rất đơn giản, và chỉ trong chốc lát, bạn đã sẵn sàng chạy LLM trên thiết bị của mình.
Để khởi chạy một mô hình, bạn sử dụng lệnh ollama run [tên mô hình]. Bạn có thể chỉ định một trong các LLM được hỗ trợ ở cuối lệnh. Ví dụ, để chạy mô hình Phi 4 của Microsoft, bạn chỉ cần nhập lệnh sau:
ollama run phi4Đối với Llama 4, bạn chạy:
ollama run llama4Mô hình được chỉ định sẽ tự động tải xuống và bắt đầu chạy. Sau đó, bạn có thể trò chuyện trực tiếp với nó từ giao diện dòng lệnh. Chẳng hạn, bạn có thể chạy DeepSeek cục bộ trên máy tính xách tay của mình bằng Ollama.
Giao diện dòng lệnh Terminal hiển thị mô hình DeepSeek-R1 đang chạy cục bộ với Ollama
4. Msty
Tương tự như Ollama, Msty là một ứng dụng thân thiện với người dùng, giúp đơn giản hóa việc chạy LLM cục bộ. Có sẵn cho Windows, macOS và Linux, Msty loại bỏ những phức tạp thường gặp khi chạy LLM cục bộ, chẳng hạn như cấu hình Docker hoặc giao diện dòng lệnh.
Ứng dụng này cung cấp nhiều mô hình khác nhau mà bạn có thể chạy trên thiết bị của mình, với các tùy chọn phổ biến như Llama, DeepSeek, Mistral và Gemma. Bạn cũng có thể tìm kiếm các mô hình trực tiếp trên Hugging Face. Sau khi cài đặt, ứng dụng sẽ tự động tải xuống một mô hình mặc định vào thiết bị của bạn.
Sau đó, bạn có thể tải xuống bất kỳ mô hình nào bạn muốn từ thư viện. Nếu bạn muốn tránh giao diện dòng lệnh bằng mọi giá, Msty là ứng dụng hoàn hảo dành cho bạn. Giao diện dễ sử dụng của nó mang lại trải nghiệm cao cấp.
Ứng dụng cũng bao gồm một thư viện các gợi ý (prompts) với nhiều tùy chọn được tạo sẵn mà bạn có thể sử dụng để hướng dẫn các mô hình LLM và tinh chỉnh phản hồi. Ngoài ra, nó còn có không gian làm việc để giữ các cuộc trò chuyện và tác vụ của bạn được sắp xếp gọn gàng.
Màn hình ứng dụng Msty trên macOS cho phép chạy các mô hình ngôn ngữ lớn (LLM) ngay trên máy tính
3. AnythingLLM
AnythingLLM là một ứng dụng desktop tiện dụng được thiết kế cho những người dùng muốn chạy LLM cục bộ mà không cần thiết lập phức tạp. Từ cài đặt đến lời nhắc đầu tiên của bạn, quá trình diễn ra trơn tru và trực quan. Bạn sẽ có cảm giác như đang sử dụng một LLM dựa trên đám mây.
Trong quá trình thiết lập, bạn có thể tải xuống các mô hình bạn chọn. Một số LLM offline tốt nhất hiện có, bao gồm DeepSeek R1, Llama 4, Microsoft Phi 4, Phi 4 Mini và Mistral, đều có sẵn để tải xuống.
Giống như hầu hết các ứng dụng trong danh sách này, AnythingLLM là mã nguồn mở hoàn toàn. Nó bao gồm nhà cung cấp LLM riêng và cũng hỗ trợ nhiều nguồn bên thứ ba, bao gồm Ollama, LM Studio và Local AI, cho phép bạn tải xuống và chạy các mô hình từ các nguồn này. Nhờ đó, AnythingLLM cho phép bạn chạy hàng trăm, nếu không phải hàng nghìn, mô hình LLM có sẵn trên web.
Giao diện chính của ứng dụng AnythingLLM trên macOS, thể hiện khả năng chạy và quản lý các mô hình LLM cục bộ
2. Jan.ai
Jan tự quảng bá là một giải pháp thay thế ChatGPT mã nguồn mở có thể chạy ngoại tuyến. Ứng dụng này cung cấp một ứng dụng desktop mượt mà để chạy các mô hình LLM khác nhau cục bộ trên thiết bị của bạn. Bắt đầu với Jan rất dễ dàng. Sau khi cài đặt ứng dụng (có sẵn trên Windows, macOS và Linux), bạn sẽ được cung cấp một số mô hình LLM để tải xuống.
Theo mặc định, chỉ một số ít mô hình được hiển thị, nhưng bạn có thể tìm kiếm hoặc nhập URL của Hugging Face nếu không tìm thấy mô hình mình muốn. Bạn cũng có thể nhập một tệp mô hình (ở định dạng GGUF) nếu bạn đã có sẵn cục bộ. Thực sự không thể dễ dàng hơn thế. Ứng dụng bao gồm cả các LLM dựa trên đám mây trong danh sách của nó, vì vậy hãy đảm bảo áp dụng bộ lọc phù hợp để loại trừ chúng.
Màn hình trò chuyện với mô hình Qwen LLM trong ứng dụng Jan.ai, minh họa việc chạy AI trực tiếp trên thiết bị
1. LM Studio
LM Studio là một ứng dụng khác cung cấp một trong những cách tiếp cận dễ dàng nhất để chạy LLM cục bộ trên thiết bị của bạn. Nó cung cấp một ứng dụng desktop (có sẵn trên macOS, Windows và Linux) cho phép bạn dễ dàng chạy LLM trên thiết bị của mình.
Sau khi thiết lập, bạn có thể duyệt và tải các mô hình phổ biến như Llama, Mistral, Gemma, DeepSeek, Phi và Qwen trực tiếp từ Hugging Face chỉ với vài cú nhấp chuột. Khi đã tải, mọi thứ đều chạy ngoại tuyến, đảm bảo các lời nhắc và cuộc trò chuyện của bạn luôn riêng tư trên thiết bị của bạn.
Ứng dụng này tự hào có giao diện người dùng trực quan, quen thuộc, vì vậy bạn sẽ cảm thấy như ở nhà nếu đã từng sử dụng các LLM dựa trên đám mây như Claude.
Màn hình khởi động của LM Studio, hướng dẫn người dùng cách bắt đầu chạy các mô hình ngôn ngữ lớn cục bộ
Có nhiều cách để chạy một LLM trên Linux, Windows, macOS hoặc bất kỳ hệ điều hành nào bạn sử dụng. Tuy nhiên, các ứng dụng được liệt kê ở đây cung cấp một số cách dễ dàng và tiện lợi nhất để thực hiện điều đó. Một số yêu cầu một chút tiếp xúc với giao diện dòng lệnh, trong khi những ứng dụng khác, như AnythingLLM và Jan, cho phép bạn thực hiện mọi thứ từ giao diện người dùng đồ họa (GUI). Tùy thuộc vào mức độ thoải mái về kỹ thuật của bạn, hãy thử một vài ứng dụng và gắn bó với ứng dụng phù hợp nhất với nhu cầu của bạn để tận hưởng khả năng kiểm soát và bảo mật mà LLM cục bộ mang lại.
