GIỚI THIỆU KHÓA HỌC
Khóa học “Xây dựng Hệ thống Dịch thuật Ngôn Ngữ bằng Trí Tuệ Nhân Tạo”
1. Đối tượng tham gia
- Khóa học dành cho học sinh THPT có dự định theo đuổi ngành Khoa học Máy tính, Trí tuệ Nhân tạo, hoặc Xử lý Ngôn ngữ ở Mỹ và các nước phương Tây trong tương lai, say mê nghiên cứu khoa học, mong muốn chuẩn bị để nộp hồ sơ vào các chuyên ngành này tại các trường Đại học hàng đầu Hoa Kỳ và thế giới.
- Các học sinh có mong muốn tìm hiểu về các kỹ thuật xử lý ngôn ngữ, học về trợ lý ảo. Đây là những công nghệ đang trở thành xu hướng mới được các trường đại học Stanford, MIT, Harvard, và các công ty như Google, Facebook, Microsoft theo đuổi nghiên cứu.
- Đã có hiểu biết cơ bản về Python (các kĩ thuật cơ bản, hiểu for loops, if/else statements, các cấu trúc dữ liệu như list, set, và dictionaries).
2. Lợi ích khi tham gia khóa học
- Được trang bị kiến thức nền tảng về học sâu (Deep Learning)
- Được học về các cấu trúc mạng lưới neuron như CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), hay Transformer
- Được học về cách kĩ thuật để huấn luyện một mô hình học sâu (Deep Learning) và các phương pháp xử lý dữ liệu ngôn ngữ (Natural Language Processing)
- Được học về cách xây dựng một hệ thống học sâu từ việc chuẩn bị dữ liệu, huấn luyện mô hình, và triển khai mô hình dưới dạng một trang web ứng dụng
Mỗi học phần đều bao gồm lý thuyết và lớp thực hành coding. Khóa học sẽ thực hiện live coding trên nền tảng Google Colaboratory.
3. Nội dung các buổi live coding
- Briefing: Tổng quan về các mục cần triển khai thực hiện.
- Hands-on coding: Học viên tham gia sẽ cùng code up các phần của một dự án nhỏ dưới sự giám sát và hỗ trợ của giảng viên. Trong quá trình thực hiện nếu học viên gặp khó khăn, giảng viên sẽ tham gia hỗ trợ và gợi ý cách giải quyết. Các học viên sẽ bắt đầu khóa học và cùng làm việc chung trên một Google Colab trống hoàn toàn. Học viên tham gia sẽ được học cách làm thế nào để có thể tạo thành một hệ thống hoàn chỉnh từ một file rỗng hoàn toàn.
Thời gian: 2 tiếng/buổi, 2 buổi/tuần
4. Các dự án trong khóa học
- Mạng Neuron Nông (Shallow Neural Network)
- Mạng Neuron Học sâu (Deep Neural Network)
- Phân tích cảm xúc (Sentiment Detection)
- Perceptron Đa tầng (Multilayer Perceptron for NLP)
- Mạng Neuron Hồi tiếp cho Việc phân loại Quốc tịch (Recurrent Neural Network for Nationality Classification)
- Mạng Neuron Hồi tiếp cho Việc tạo Họ (Recurrent Neural Network for Generating Surname)
- Hệ thống Neuron Dịch thuật với Mạng Neuron Hồi tiếp (Neural Machine Translation with RNN)
- Mini-BERT
- Hệ thống Dịch thuật với BERT (Machine Translation with BERT (with a live translation website))
- Trợ lý Ảo (Task-oriented Virtual Assistant)
NỘI DUNG CHI TIẾT
| Giai đoạn | Bài học | Nội dung bài học | Chi tiết nội dung bài học |
| 1 | 1 | Calculus + Linear Algebra (Giải tích và Đại số tuyến tính) | Binary Classification (Phân loại nhị phân) Logistic Regression (Hồi quy tuyến tính) Gradient Descent (Hạ gradient) Derivatives (Đạo hàm) Computation Graph (Đồ thị tính toán) Derivatives with Computation Graph (Đạo hàm và đồ thị tính toán) Vectorization (Véc tơ hoá) Matrix (Ma trận) Matrix Operations (Tính toán Ma trận) |
| 2 | Intro to Deep Learning (Giới thiệu về Học sâu) | Neural Network overview (Tổng quan về Mạng lưới Neuron) Neural Network representation (Cách thể hiện Mạng lưới Neuron) Vectorizing across training batch (Véc tơ hoá trong các batch huấn luyện) Activation functions (Hàm kích hoạt) Gradient Descent for Neural Networks (Hạ gradient cho Mạng lưới Neuron) Random Initialization (Khởi tạo ngẫu nhiên) Linear Algebra in Neural Network (Đại số tuyến tính trong Mạng Neuron) | |
| 3 | Intro to Deep Learning (coding) (Giới thiệu về Học sâu – Lập trình) | Live coding a Shallow Neural Network with a dataset (Lập trình trực tiếp một Mạng lưới Neuron nông) | |
| 4 | Deep Neural Network (Mạng Neuron Học sâu) | Deep L-layer Neural Network (Mạng Neuron Sâu) Forward Propagation in a Deep Neural Network (Lan truyền xuôi trong Mạng Neuron Học Sâu) Deep Representations (Cách thể hiện Học sâu) Parameters vs Hyperparameters (Tham số và Siêu tham số) | |
| 5 | Deep Neural Network (coding) Mạng Neuron Học sâu – Lập trình) | Live coding a Deep Neural Network with a dataset (Lập trình trực tiếp một Mạng Neuron Học sâu) | |
| 6 | Deep Learning Practical Training (Cách huấn luyện Học sâu) | Train/Dev/Test sets (Tập huấn luyện, tập phát triển, tập kiểm tra) Bias/Variance (Hệ số điều chỉnh và Phương sai) Regularization (Điều chuẩn) Normalization (Chuẩn hóa) Dropouts Mini-batch Gradient Descent (Hạ gradient theo mini-batch) Learning Rate Decay (Suy giảm tốc độ học) Local Optima Problems (Vấn đề về cực đại và cực tiểu) | |
| 7 | Introduction to NLP (Mở đầu về Xử lý Ngôn ngữ Tự nhiên) | NLP concepts (Các khái niệm trong Xử lý Ngôn ngữ Tự nhiên) Word vectors (Véc tơ Từ) Gensim Word Vectors (Véc tơ từ Gensim) CBOW (Túi từ vựng liên tục) Tour of traditional NLP (Tìm hiểu về Xử lý ngôn ngữ tự nhiên truyền thống) | |
| 2 | 8 | Introduction to NLP (coding) Mở đầu về Xử lý Ngôn ngữ Tự nhiên- Lập trình) | Live coding Sentiment Detection (Lập trình trực tiếp Phân tích cảm xúc) NLP Pipeline and data cleaning (Hệ thống Xử lý Ngôn ngữ Tự nhiên và Chuẩn bị Dữ liệu) |
| 9 | MLP for NLP (Perceptron Đa tầng cho Xử lý Ngôn ngữ tự nhiên) | Live coding Multi-layer Perceptron for NLP (Lập trình trực tiếp Perceptron Đa tầng cho Xử lý Ngôn ngữ tự nhiên) | |
| 10 | Sequence Modeling for NLP (Mô hình Chuỗi cho Xử lý Ngôn ngữ Tự nhiên) | Elman RNN (Mạng Neuron Hồi tiếp Elman) Live coding an RNN and a classifier for RNN (Lập trình trực tiếp Mạng Neuron Hồi tiếp cho việc phân loại) | |
| 11 | Sequence Modeling for NLP (Mô hình Chuỗi cho Xử lý Ngôn ngữ Tự nhiên) #2 | GRU (Nút hồi tiếp có cổng) Sequence Prediction (Dự đoán chuỗi) Live coding a GRU Model with a dataset (Lập trình trực tiếp Mạng Neuron với Nút hồi tiếp có cổng) | |
| 12 | Sequence Modeling for NLP (Mô hình Chuỗi cho Xử lý Ngôn ngữ Tự nhiên) #3 | Seq2Seq Model (Mô hình Chuỗi sang chuỗi) Encoder-Decoder (Kién trúc mã hoá – giải mã) Conditioned Generation (Tạo theo điều kiện) Attention (Tập trung) | |
| 13+14 | Neural Machine Translation Project (Dự án Hệ thống Dịch thuật Neuron) | Live Coding a Neural Machine Translation with a Seq2Seq model (Lập trình trực tiếp Hệ thống dịch Neuron với mô hình Chuỗi sang Chuỗi) | |
| 3 | 15 | Transformers | Transformer architecture (Cấu trúc Transformer) BERT Attention mechanisms (Cơ chế tập trung) |
| 16 | Transformers (coding) | Deep dive into a smaller scale example of the Transformer architecture (Lập trình trực tiếp một ví dụ nhỏ về cấu trúc Transformer) | |
| 17 | BERT | Live coding BERT and an example of fine-tuning BERT (Lập trình trực tiếp BERT và ví dụ về việc tinh chỉnh BERT) | |
| 18 | Machine Translation with BERT (Dịch thuật với BERT) | Transduction (Chuyển giao) WMT Dataset BLEU score (Điểm số BLEU) Geometric Evaluations (Cách đánh giá Geometric) Trax | |
| 19+20 | Machine Translation Project + Task-Oriented Virtual Assistant (Dự án Dịch thuật và dự án Trợ lý Ảo) | Implement a model (Lập trình một model) Training process (Quá trình huấn luyện) Setting up the server to host a translation website or a virtual assistant (Tạo một server cho Hệ thống Dịch thuật hoặc Trợ lý Ảo) |
GIẢNG VIÊN
Thầy Bùi Mạnh Hùng hiện đang theo học song bằng tại Đại học Stanford (xếp hạng top 6 đại học Quốc gia NU Hoa Kỳ) bao gồm chương trình Cử nhân (Honors) Khoa học Máy tính về Trí tuệ Nhân tạo và Thạc sĩ Khoa học Máy tính về Trí tuệ Nhân tạo. Trong quá trình học tập, thầy Mạnh Hùng cũng đã có kinh nghiệm dày dặn khi làm việc tại Phòng nghiên cứu Trợ lý Thực tế Ảo tại Stanford (Stanford Open Virtual Assistant Lab). Trước khi theo học tại Stanford, thầy Mạnh Hùng tốt nghiệp trường trung học Hanoi – Amsterdam với nhiều thành tích xuất sắc như đạt 119/120 TOEFL, 1560/1600 SAT và nhận được lời mời từ nhiều trường Đại học danh giá khác tại Mỹ như ĐH Johns Hopkins (top 9 NU), ĐH Rice (top 16 NU), ĐH California-Los Angeles (top 20 NU), ĐH California-Berkeley (top 22 NU).
Các bạn quan tâm tới khóa học có thể đăng ký tại: https://futureed.vn/contact/