Sun* AI Research Team

Mở đầu Với những người sử dụng Large Language Model (LLM), hẳn cái tên Mixtral 8x7B đã không còn xa lạ gì nữa. Nhưng có ai thắc mắc tại sao lại là "8x7B" chứ không phải là 56B hay 7B như các model khác? Bài viết này sẽ giải đáp về cái tên của Mixtral 8x7B, cũng như là kĩ thuật mà mà Mixtral 8x7B đã sử dụng: Mixture of Experts (MoE). Nhìn lại một chút về Transformer Chắc hẳn bây giờ ai cũng đã b...

Sau gần 3 năm làm thợ gõ phím, tôi nhận ra rằng mỗi lần làm dự án là một lần để tôi nhận thấy mình code ngu như thế nào. (ﾒ﹏ﾒ) (ﾒ﹏ﾒ) (ﾒ﹏ﾒ)

Và tất nhiên rồi, không chần chừ gì nữa, tôi xin phép giới thiệu đến quý đọc giả về dbt (Data Build Tool) - công cụ mà tôi ước giá như mình biết sớm hơn để công việc trong quá khứ trôi chảy hơn rất nhiều (b ᵔ▽ᵔ)b

Một chút context

À thì cũng không phải tự...

Trong bài viết trước , mình đã giới thiệu về các khái niệm như vector search, vector database, search engine etc và ví dụ qua một công cụ cloud-based search engine là Azure Cognitive Search. Như đã đề cập trong phần trước, Azure Cognitive Search cung cấp các hình thức tìm kiếm sau:

• Azure Full-Text Search
• Azure Vector Search
• Azure Hybrid Search

Trong bài viết trước, mình và các bạn đã điể...

Ở bài trước mình đã giới thiệu sơ qua về RAG - Retrieval Augmented Generation - một phương pháp hữu hiệu giải quyết vấn đề hallucination cho các bài toán dùng LLM để truy xuất và cung cấp thông tin.

RAG giúp nâng cao kiến thức của mô hình ngôn ngữ bằng thông tin từ các nguồn bên ngoài đáng tin cậy như Wikipedia, các tài liệu về một vấn đề cụ thể. Vì vậy bước quan trọng nhất đối với RAG là đảm ...

Giới thiệu Skorch PyTorch luôn là một lựa chọn của hầu hết các anh em AI engineer để xây dựng bất kỳ mô hình học sâu nào. Tuy nhiên, có một điều đặc biệt mà anh em nào từng code PyTorch cũng thường xuyên gặp phải như hình bên dưới:

Trong đoạn code trên, với mỗi epoch thì chính ta cần lặp qua hết các batch dữ liệu. Mỗi batch dữ liệu chúng ta cần forward qua mô hình, tính loss và backward để cập...

Chào các bạn, như chúng ta cũng đã thấy ChatGPT đã làm khuấy động thị trường được gần 1 năm rồi. Kể cả tech hay non-tech đều sử dụng GPT khá là nhiều. Và vì vậy mình cũng muốn thử tìm kiếm xem có thể viết code chỉ bằng những mô tả từ ngữ thì có thể không? Và mình đã tìm thấy jupyter-ai . Với Jupyter-ai chúng ta ssẽ sử dụng Jupyter AI trực tiếp trong Jupyter Notebook và Jupyter Lab của mình để d...

Lời mở đầu Chào các bạn, mình trở lại rồi đây. Sau một thời gian làm dự án về một hệt thống trợ lý ảo sử dụng các công nghệ bên thứ 3 như OpenAI, Azure thì hôm nay, mình sẽ chia sẻ cho các bạn một kiến thức khá hot dạo gần đầy liên quan đến lĩnh vực Prompt Engineering, đó là prompt sao cho hiệu quả ChatGPT xịn xò, nhưng nếu bạn không biết cách hỏi hay hướng dẫn nó trả lời sao cho đúng ý bạn, th...

Giới thiệu Chắc hẳn các bạn không còn xa lạ gì với các mô hình ngôn ngữ lớn (large language models - LLM), kể từ khi OpenAI ra mắt ChatGPT vào tháng 11 năm ngoái (2022) thì thuật ngữ này ngày càng xuất hiện nhiều hơn và AI cũng được chú ý đến nhiều hơn. Sau hơn 1 năm số lượng các mô hình ngôn ngữ gia tăng một cách chóng mặt với đa dạng về kích thước, ngôn ngữ, phạm vi ứng dụng. Có thể nói lĩnh ...

Intro Tiếp tục chuỗi bài viết về thư viện fastai, trong bài viết hôm nay, chúng ta sẽ cùng nhau tìm hiểu về hệ thống callback - nguyên liệu chính của training loop trong class Learner.

Một chút về Callback Callback là gì? Callback về cơ bản chỉ là một function được gọi khi một sự kiện nào đó xảy ra. Ví dụ khi các bạn code 1 trang web bằng HTML với một nút trên đó. Nếu bạn muốn có 1 tác vụ nào ...

ADAPTATION TUNING OF LLMS Sau quá trình pretraining, tiếp đến ta sẽ cần finetune mô hình với downstream task nếu muốn mô hình hoạt động tốt với các tác vụ thực tế. Ở thời điểm hiện tại có 2 hướng finetuning chính cho LLM là : instruction tuning và alignment tuning. Cách tiếp cận đầu tiên chủ yếu nhằm mục đích nâng cao (hoặc mở khóa) khả năng của LLM, trong khi cách tiếp cận sau nhằm mục đích đi...

Cũng khá lâu rồi thì mình mới viết Viblo, một phần vì lười và cũng một phần vì có quá nhiều thứ cần cập nhật, đặc biệt là LLM khi cứ vài tuần lại có thêm một thứ mới để đọc. Nhưng lười mãi thì cũng không tốt, bài viết này sẽ giới thiệu về bài báo mình đang đọc có tên gọi "IAG: Induction-Augmented Generation Framework for Answering Reasoning Questions". Mọi người có thể đọc nội dung chi tiết của...

Hiện nay, việc làm việc với dữ liệu trên đám mây đã trở thành một phần quan trọng và phổ biến. Trong số các dịch vụ đám mây phổ biến, Amazon Web Services (AWS) S3 (Simple Storage Service) là một trong những dịch vụ lưu trữ đám mây hàng đầu. Với khả năng linh hoạt, độ tin cậy và khả năng mở rộng, S3 đã trở thành một lựa chọn phổ biến cho việc lưu trữ và quản lý dữ liệu.

Trong bài viết này, chún...

Độ hot của ChatGPT thời gian vừa rồi thì không phải bàn cãi nữa rồi, đợt này mình có thử nghiệm để nó sinh content đề bài cho một bài giải thuật để tham gia sự kiện kiếm tí quà ăn Tết xem thế nào.

Link sự kiện Viblo Contribution Event 2023 cho mọi người tham khảo và kiếm quà Tết cùng mình: https://contribution.viblo.asia/ (quà thấp nhất là 1 chiếc áo phông rất xinh, và cao nhất lên đến 3tr) ...

Việc sử dụng Python để vẽ biểu đồ không chỉ là hiệu quả mà còn là một cách thú vị để trình bày dữ liệu. Với python chúng ta có thể custom chart theo như mình mong muốn. Trong bài viết này, chúng ta sẽ khám phá một số tips hữu ích để tạo ra những biểu đồ đẹp và ấn tượng bằng Python.

Chọn thư viện phù hợp

Python cung cấp nhiều thư viện hữu ích cho việc vẽ biểu đồ, như Matplotlib, Seaborn, Plotl...

Ở 2 bài viết trước mình đã trình bày các kiến thức cơ bản về mô hình transformer. Để tiếp nối series tìm hiểu về large language model, lần này mình sẽ trình bày tổng quan về Large Language Model. Nhóm bài viết sẽ tập trung vào 4 khía cạnh chính của LLMs: pre-training, adaptation tuning, utilization, và capacity evaluation. Ở bài này, mình sẽ tập trung vào các khái niệm cơ bản của LLM và LLM pre...

Mở đầu Azure là một nền tảng đám mây thông minh, do chính Microsoft phát triển. Gần đây thì nó không còn là một khái niệm mới nữa mà đã và đang được ứng dụng rất rộng rãi trong các doanh nghiệp rồi.

Với Azure, bạn có thể biến Cloud thành "ngôi nhà thứ hai" cho ứng dụng và dịch vụ của bạn. Nó cung cấp cho bạn một cách thức dễ dàng để lưu trữ, xử lý và quản lý dữ liệu của mình. Tưởng tượng rằng ...

Title: Segment Anything in High Quality
Original Paper: https://arxiv.org/pdf/2306.01567.pdf
Code: https://github.com/SysCV/sam-hq

1. Giới thiệu Gần đây, Segment Anything Model (SAM) đã đánh dấu một bước ngoặt lớn trong segmentation models. Mặc dù được huấn luyện với 1.1 tỉ mask nhưng mask prediction của SAM vẫn khá tệ trong nhiều trường hợp, đặc biệt là khi xử lý với những object mà có cấu...

I. Mở đầu: Việc đưa các các hệ thống học máy vào trong y tế nhằm giúp các bác sĩ hay các chuyên gia y tế chuẩn đoán chính xác đang dần trở lên phổ biến hơn. Đặc biệt là phải nhắc đến nội soi trực tràng nhằm phát hiện các khối u bất thường, điều này cực kỳ quan trọng khi giúp phát hiện và loại bỏ các khối u ra khỏi cơ thể tránh chúng phát triển thành ung thư. Việc các khối u có hình dáng, kích t...

Sự nổi dậy của chat GPT và các mô hình ngôn ngữ lớn (Large Languae Model - LLM) đã thu hút được sự quan tâm lớn của công chúng. Chỉ trong 5 năm, các mô hình ngôn ngữ lớn - Transformer đã biến đổi gần như hoàn toàn lĩnh vực xử lý ngôn ngữ tự nhiên. Ngoài ra, chúng đang bắt đầu lấn sân các lĩnh vực như thị giác máy tính và sinh học tính toán. Mình cũng mới bắt đầu tìm hiểu LLM, nên mình sẽ cố gắn...

Lời mở đầu Lâu lắm rồi mới quay lại viết bài 🥲. Thôi vào đề luôn đi.

Việc chụp một bức ảnh đẹp thường bị ảnh hưởng bởi rất nhiều yếu tố: thiết bị di động, khung cảnh, góc chụp, khoảng cách, thời điểm. Nếu trong một ngày mà bạn không may mắn thì chất lượng ảnh của bạn sẽ rất ba chấm: mờ, giật, nhiễu, v.v...

Hồi phục một bức ảnh mang ý nghĩa là gia tăng chất lượng cũng như độ chân thực của ảnh....