Sun* AI Research Team

I. Giới thiệu

Các mô hình đa phương thức tiên tiến nhất hiện nay, có khả năng xử lý cả hình ảnh và văn bản, đã thể hiện những khả năng ấn tượng, chẳng hạn như tạo ra các mô tả hình ảnh chi tiết và trả lời chính xác các câu hỏi trực quan phức tạp. Các mô hình thị giác-ngôn ngữ (VLMs) này rất quan trọng cho sự tiến bộ của AI. Tuy nhiên, hầu hết các VLM có hiệu suất cao nhất vẫn là độc quyền, ngh...

Mở đầu. Xin chào mọi người đến với bài tiếp theo của practical Series. Nhân tiện bài trước đó của mình có điểm qua một số phương pháp Chunking (ở đây), tập trung hơn một chút về agentic chunking. Thì đến bài này chúng ta sẽ điểm qua 1 kỹ thuật khác là Late Chunking giúp cải thiện trong phase Chunking và Retrieval của RAG.

Important : Trước khi đọc bài viết, mình xin được nhắc lại, đây không ph...

Tổng quan Xin chào tất cả mọi người, RAG từ lâu đã trở thành một công nghệ quan trọng trong lĩnh vực AI, đặc biệt là trong việc tối ưu hóa cách chúng ta khai thác và sử dụng dữ liệu. Với sự kết hợp độc đáo giữa khả năng truy xuất thông tin chính xác (retrieval) và sức mạnh sáng tạo của các mô hình ngôn ngữ lớn (LLM), RAG đã chứng minh hiệu quả vượt trội trong việc giải quyết các bài toán phức t...

Self prompting

Trong quá trình ứng dụng các mô hình ngôn ngữ lớn (LLM), một vấn đề nổi bật là sự phụ thuộc vào prompt engineering – việc thiết kế các câu lệnh đầu vào để hướng dẫn mô hình. Tuy nhiên, việc này đòi hỏi nhiều thử nghiệm thủ công, tốn thời gian, và thường thiếu tính nhất quán, đặc biệt khi đối mặt với các tác vụ phức tạp hoặc các yêu cầu thay đổi theo ngữ cảnh. Hơn nữa, hiệu suất ...

1. Giới thiệu chung Ngày nay việc sử dụng các mô hình ngôn ngữ lớn tiêu biểu như ChatGPT của OpenAI đã trở nên cực kì phổ biến. Thông thường mọi người chỉ dùng chức năng nhắn tin để hỏi đáp với các model như gpt3.5, gpt4o. Các mô hình này hoạt động rất tốt và phản hồi tương đối nhanh nếu xét trên phương diện nhắn tin, nhưng nếu chúng ta muốn việc tương tác trở nên thuận tiện hơn nữa bằng việc h...

I.Giới thiệu

Trong thời đại các mô hình ngôn ngữ lớn (LLM) và các API cho AI service phát triển mạnh mẽ, việc xây dựng các ứng dụng sử dụng chúng ngày càng phổ biến. Tuy nhiên, khi ứng dụng phải phục vụ số lượng lớn người dùng, việc xử lý đồng thời nhiều yêu cầu (request) trở thành một thách thức lớn. Các API thường có giới hạn tài nguyên và thời gian phản hồi, đòi hỏi lập trình viên không chỉ...

Chào mừng các bạn đã đến tới series một vài câu chuyện xung quanh phát triển Chabot. Trong series này gồm nhiễu bài viết mình dự định có cách nội dung như sau:

• Phần 1: Tổng quan về ChatBot và các phương pháp phát triển
• Phần 2: Mình tập tành xây dựng hệ thống ChatBot như nào và khái niệm các kĩ thuật liên quan
• Phần 3: Mình tập tành xây dựng hệ thống ChatBot như nào và khái niệm các kĩ thu...

Mở đầu. Trong lĩnh vực Hồi đáp theo Kiến thức (RAG), việc chia nhỏ văn bản (chunking) là một bước quan trọng để tối ưu hóa truy xuất và sử dụng thông tin. Các kỹ thuật chunking không chỉ cải thiện độ chính xác mà còn giúp tổ chức dữ liệu hiệu quả hơn cho mô hình ngôn ngữ lớn (LLMs). Bài viết này sẽ giới thiệu các loại chunking phổ biến, và chú ý hơn một chút về Semantic Chunking và Proposition...

Overview Trong bài viết lần trước, mình đã trình bày về tổng quan lý thuyết về Triton Inference Server bao gồm kiến trúc của Triton, các tính năng chính, thông tin cơ bản và một số Triton Server Tool. Ta hãy cùng sơ lược lại một chút thông tin.

Triton Inference Server là gì ? Triton Inference Server là một "open source inference serving software", cho phép deploy các AI model từ nhiều deep-mac...

Lời mở đầu

Các mô hình embedding văn bản hoạt động rất tốt ở việc encoding các đoạn văn bản (dữ liệu không có cấu trúc) và khiến cho việc tìm kiếm các văn bản giống nhau một các dễ dàng hơn. Và các mô hình embedding này đang được sử dụng phổ biến trong các kiến trúc RAG (Retrieval Augmented Generation) hiện nay, với khả năng có thể encode và truy hồi các thông tin liên quan từ tài liệu hoặc cá...

I. Giới thiệu Với sự phát triển nhanh chóng của trí tuệ nhân tạo trong những năm trở lại đây, các mô hình ngôn ngữ lớn (LLM) đang giải quyết nhiều bài toán đa dạng trong nhiều lĩnh vực:

• Trả lời câu hỏi tự nhiên và hỗ trợ khách hàng: LLM có thể xử lý các câu hỏi từ khách hàng, tự động cung cấp câu trả lời hoặc hướng dẫn người dùng qua chatbot, giúp tối ưu hoá trải nghiệm khách hàng.
• Hỗ trợ s...

Như các bạn đã biết, Retrieval Augmented Generation (RAG) là một phương pháp hiệu quả giúp các mô hình ngôn ngữ lớn có thể truy cập vào cơ sở dữ liệu thông tin bên ngoài mà không cần phải fine-tune mô hình. Một pipeline RAG cơ bản bao gồm một truy vấn từ người dùng (user query), một mô hình embedding có nhiệm vụ chuyển đổi văn bản thành các embedding (các vector số học trong không gian nhiều ch...

Chắc hẳn những anh em làm các con dự án RAG sẽ không còn xa lạ gì với việc phải thiết kế prompt cho một số phase trong hệ thống như QuestionAnalyzer, AnswerGenerator, AnswerEvaluator, ... Vậy các anh em dùng những chiến lược nào cho nhiệm vụ prompting này nhỉ? Từ kinh nghiệm bản thân và có trao đổi với một số anh em bạn bè khác, cá nhân mình nhận ra chúng ta khá thân thuộc với 3 kỹ thuật

• Zero...

1. Numba là gì Numba là trình biên dịch dành cho các hàm Python thực thi trên dữ liệu dạng số và mảng. Nó cho phép viết các chương trình thuần Python mà lại mang tốc độ ngang ngửa các ngôn ngữ biên dịch khác.

Numba thực hiện điều đó bằng cách tạo ra mã máy tối ưu từ code Python, sử dụng LLVM, một framework biên dịch open-source nổi tiếng. Chỉ với một vài thay đổi nhỏ đơn giản tới codebase, các...

Hallo có thể làm gì?

Để những bức ảnh tĩnh “lên tiếng” luôn là mong đợi của con người đối với trí tuệ nhân tạo. Trong những năm gần đây, với sự phát triển của deep learning, công nghệ tạo chuyển động ảnh chân dung được điều khiển bằng âm thanh đã có những bước tiến vượt bậc. Nhiều mô hình khác nhau đã xuất hiện như SadTalker and DiffTalk,... nhưng làm thế nào để đạt được sự đồng bộ hóa môi c...

Lời mở đầu

Đối với dân lập trình viên thì cơ sở dữ liệu là một phần quan trọng trong công việc. Tùy theo các kiểu dữ liệu và số lượng bản ghi mà tôi sẽ chọn sử dụng cơ sở dữ liệu phù hợp nhất. Thường thì là postgres, redis, ... Bình thường thì dân lập trình như chúng ta sẽ không cảm thấy khó khăn gì trong việc kết nối và sử dụng các package này, nhưng với những người không chuyên code thì ngượ...

Lời mở đầu Trong thế giới ngày càng phát triển của trí tuệ nhân tạo, việc tìm kiếm những công cụ hỗ trợ thông minh để tối ưu hóa công việc và cuộc sống hàng ngày ngày càng trở nên quan trọng. Mặc dù GPT (Generative Pre-trained Transformer) của OpenAI đã tạo ra một bước ngoặt lớn trong lĩnh vực này, nhưng hiện nay có nhiều lựa chọn khác đang nổi bật, trong đó có Claude Sonnet 3.5 và Gemini. Bài ...

1. Giới thiệu Ngày nay, các hệ thống chatbot đang ngày càng phổ biến với mục tiêu giải quyết nhiều bài toán thực tế như chăm sóc khách hàng tự động, hỗ trợ bán hàng, và nhiều lĩnh vực khác. Điểm mạnh của chatbot là khả năng tạo ra các cuộc hội thoại tự nhiên, thay thế cách tương tác thông qua các lệnh cứng nhắc. Điều này giúp người dùng dễ dàng trao đổi thông tin với hệ thống hơn, và từ đó cải ...

Tổng quan Triton Inference Server là một open source inference serving software, cho phép deploy các AI model từ nhiều deep-machine learning frameworks, bao gồm TensorRT, TensorFlow, PyTorch, ONNX, OpenVINO, Python, RAPIDS FIL, v.v. Triton hỗ trợ inference trên cloud, data center và thiết bị nhúng trên GPU NVIDIA, x86 và CPU ARM hoặc AWS Inferentia cũng như mang lại hiệu suất được tối ưu hóa ch...