Sun* AI Research Team

Chất lượng của mô hình học sâu (deep learning) có liên quan chặt chẽ đến quá trình huấn luyện chúng. Để huấn luyện được mô hình tốt, việc giảm nhiễu (noise) từ quá trình cập nhật ngẫu nhiên (stochastic updates) là cần thiết. Cách chính quy, đã được chứng minh bằng toán học, dùng để giảm nhiễu trong tối ưu hàm lồi phải kể đến (tail) average. Ứng dụng trong học sâu (deep learning), để có được mô...

1.Giới thiệu chung. Nhiệm vụ tổng hợp hình ảnh người được điều khiển bởi âm thanh có rất nhiều ứng dụng, do đó, gần đây có nhiều nghiên cứu về chủ đề này. Nhiều phương pháp dựa trên việc sử dụng điểm đặc trưng (landmarks) và lưới (meshes) để làm thông tin cấu trúc khuôn mặt đã được phát triển, tức là sử dụng các đặc trưng trung gian làm cơ sở, và tất nhiên hiệu quả rất phụ thuộc vào các đặc trư...

Trong bài viết trước, mình có giới thiệu tới các bạn về Full-text search trong Azure AI Search. Trong bài viết này, mình sẽ đi phân tích sâu hơn về cách tính score của nó (có thêm scoring của Semantic search bổ trợ). Như các bạn đã biết thì việc search, ngoài trả ra các docs liên quan thì nó cũng cần có những score tương ứng để xếp hạng (ranking) chúng theo độ tương đồng. Chúng ta bắt đầu nhé ...

Dữ liệu đang tăng lên với tốc độ chóng mặt, và việc tìm kiếm thông tin dữ liệu trở nên cần thiết và khó khăn hơn bao giờ hết. Với sự phát triển mạnh mẽ của LLM ở thời điểm hiện tại, Retrival Augmented Generation hứa hẹn một tương lai đầy triển vọng. Gần đây thì mình tiếp xúc với khá nhiều dự án về RAG và cũng được làm việc chủ yếu với Azure AI Search cho nhiệm vụ Retrival data.

Azure AI Search...

Như mọi người đã biết thì hiện tại LLM nó ở khắp mọi mặt trận rồi, nhà nhà LLM người người LLM. Các ứng dụng của LLM cũng ngày càng phổ biến hơn. Vậy nên, hôm nay mình sẽ giới thiệu cho mọi người một kỹ thuật có tên là Retrieval-Augmented Generation (RAG) một kỹ thuật cực kỳ quan trọng và phổ biến. Oke, vậy RAG là gì? Mà tại sao lại cần nó trong các dự án LLM thực tế?

RAG là gì nhỉ?

Về mặt bả...

Lời mở đầu Hiện nay các hệ thống RAG ngày càng phổ biến và khá nhiều trong số đó sử dụng Azure OpenAI nhưng liệu bạn đã thực sự nắm được sử dụng như thế nào cho hiệu quả ? Sau 1 vài dự án về RAG, mình đã đúc kết được một số kinh nghiệm trong việc sử dụng Azure OpenAI và cách viết prompt sao cho tối ưu nhất.

Nội dung

1. Cân nhắc khi chọn version cho Azure OpenAI API Đầu tiên, khi chọn Azure op...

Mở đầu Với những người sử dụng Large Language Model (LLM), hẳn cái tên Mixtral 8x7B đã không còn xa lạ gì nữa. Nhưng có ai thắc mắc tại sao lại là "8x7B" chứ không phải là 56B hay 7B như các model khác? Bài viết này sẽ giải đáp về cái tên của Mixtral 8x7B, cũng như là kĩ thuật mà mà Mixtral 8x7B đã sử dụng: Mixture of Experts (MoE). Nhìn lại một chút về Transformer Chắc hẳn bây giờ ai cũng đã b...

Sau gần 3 năm làm thợ gõ phím, tôi nhận ra rằng mỗi lần làm dự án là một lần để tôi nhận thấy mình code ngu như thế nào. (ﾒ﹏ﾒ) (ﾒ﹏ﾒ) (ﾒ﹏ﾒ)

Và tất nhiên rồi, không chần chừ gì nữa, tôi xin phép giới thiệu đến quý đọc giả về dbt (Data Build Tool) - công cụ mà tôi ước giá như mình biết sớm hơn để công việc trong quá khứ trôi chảy hơn rất nhiều (b ᵔ▽ᵔ)b

Một chút context

À thì cũng không phải tự...

Trong bài viết trước , mình đã giới thiệu về các khái niệm như vector search, vector database, search engine etc và ví dụ qua một công cụ cloud-based search engine là Azure Cognitive Search. Như đã đề cập trong phần trước, Azure Cognitive Search cung cấp các hình thức tìm kiếm sau:

• Azure Full-Text Search
• Azure Vector Search
• Azure Hybrid Search

Trong bài viết trước, mình và các bạn đã điể...

Ở bài trước mình đã giới thiệu sơ qua về RAG - Retrieval Augmented Generation - một phương pháp hữu hiệu giải quyết vấn đề hallucination cho các bài toán dùng LLM để truy xuất và cung cấp thông tin.

RAG giúp nâng cao kiến thức của mô hình ngôn ngữ bằng thông tin từ các nguồn bên ngoài đáng tin cậy như Wikipedia, các tài liệu về một vấn đề cụ thể. Vì vậy bước quan trọng nhất đối với RAG là đảm ...

Giới thiệu Skorch PyTorch luôn là một lựa chọn của hầu hết các anh em AI engineer để xây dựng bất kỳ mô hình học sâu nào. Tuy nhiên, có một điều đặc biệt mà anh em nào từng code PyTorch cũng thường xuyên gặp phải như hình bên dưới:

Trong đoạn code trên, với mỗi epoch thì chính ta cần lặp qua hết các batch dữ liệu. Mỗi batch dữ liệu chúng ta cần forward qua mô hình, tính loss và backward để cập...

Chào các bạn, như chúng ta cũng đã thấy ChatGPT đã làm khuấy động thị trường được gần 1 năm rồi. Kể cả tech hay non-tech đều sử dụng GPT khá là nhiều. Và vì vậy mình cũng muốn thử tìm kiếm xem có thể viết code chỉ bằng những mô tả từ ngữ thì có thể không? Và mình đã tìm thấy jupyter-ai . Với Jupyter-ai chúng ta ssẽ sử dụng Jupyter AI trực tiếp trong Jupyter Notebook và Jupyter Lab của mình để d...

Lời mở đầu Chào các bạn, mình trở lại rồi đây. Sau một thời gian làm dự án về một hệt thống trợ lý ảo sử dụng các công nghệ bên thứ 3 như OpenAI, Azure thì hôm nay, mình sẽ chia sẻ cho các bạn một kiến thức khá hot dạo gần đầy liên quan đến lĩnh vực Prompt Engineering, đó là prompt sao cho hiệu quả ChatGPT xịn xò, nhưng nếu bạn không biết cách hỏi hay hướng dẫn nó trả lời sao cho đúng ý bạn, th...

Giới thiệu Chắc hẳn các bạn không còn xa lạ gì với các mô hình ngôn ngữ lớn (large language models - LLM), kể từ khi OpenAI ra mắt ChatGPT vào tháng 11 năm ngoái (2022) thì thuật ngữ này ngày càng xuất hiện nhiều hơn và AI cũng được chú ý đến nhiều hơn. Sau hơn 1 năm số lượng các mô hình ngôn ngữ gia tăng một cách chóng mặt với đa dạng về kích thước, ngôn ngữ, phạm vi ứng dụng. Có thể nói lĩnh ...

Intro Tiếp tục chuỗi bài viết về thư viện fastai, trong bài viết hôm nay, chúng ta sẽ cùng nhau tìm hiểu về hệ thống callback - nguyên liệu chính của training loop trong class Learner.

Một chút về Callback Callback là gì? Callback về cơ bản chỉ là một function được gọi khi một sự kiện nào đó xảy ra. Ví dụ khi các bạn code 1 trang web bằng HTML với một nút trên đó. Nếu bạn muốn có 1 tác vụ nào ...

ADAPTATION TUNING OF LLMS Sau quá trình pretraining, tiếp đến ta sẽ cần finetune mô hình với downstream task nếu muốn mô hình hoạt động tốt với các tác vụ thực tế. Ở thời điểm hiện tại có 2 hướng finetuning chính cho LLM là : instruction tuning và alignment tuning. Cách tiếp cận đầu tiên chủ yếu nhằm mục đích nâng cao (hoặc mở khóa) khả năng của LLM, trong khi cách tiếp cận sau nhằm mục đích đi...

Cũng khá lâu rồi thì mình mới viết Viblo, một phần vì lười và cũng một phần vì có quá nhiều thứ cần cập nhật, đặc biệt là LLM khi cứ vài tuần lại có thêm một thứ mới để đọc. Nhưng lười mãi thì cũng không tốt, bài viết này sẽ giới thiệu về bài báo mình đang đọc có tên gọi "IAG: Induction-Augmented Generation Framework for Answering Reasoning Questions". Mọi người có thể đọc nội dung chi tiết của...

Hiện nay, việc làm việc với dữ liệu trên đám mây đã trở thành một phần quan trọng và phổ biến. Trong số các dịch vụ đám mây phổ biến, Amazon Web Services (AWS) S3 (Simple Storage Service) là một trong những dịch vụ lưu trữ đám mây hàng đầu. Với khả năng linh hoạt, độ tin cậy và khả năng mở rộng, S3 đã trở thành một lựa chọn phổ biến cho việc lưu trữ và quản lý dữ liệu.

Trong bài viết này, chún...

Độ hot của ChatGPT thời gian vừa rồi thì không phải bàn cãi nữa rồi, đợt này mình có thử nghiệm để nó sinh content đề bài cho một bài giải thuật để tham gia sự kiện kiếm tí quà ăn Tết xem thế nào.

Link sự kiện Viblo Contribution Event 2023 cho mọi người tham khảo và kiếm quà Tết cùng mình: https://contribution.viblo.asia/ (quà thấp nhất là 1 chiếc áo phông rất xinh, và cao nhất lên đến 3tr) ...

Việc sử dụng Python để vẽ biểu đồ không chỉ là hiệu quả mà còn là một cách thú vị để trình bày dữ liệu. Với python chúng ta có thể custom chart theo như mình mong muốn. Trong bài viết này, chúng ta sẽ khám phá một số tips hữu ích để tạo ra những biểu đồ đẹp và ấn tượng bằng Python.

Chọn thư viện phù hợp

Python cung cấp nhiều thư viện hữu ích cho việc vẽ biểu đồ, như Matplotlib, Seaborn, Plotl...