EASY-COMM là dự án giành giải Nhì tại cuộc thi “Bệ phóng khởi nghiệp” (Startup Launchpad) lần thứ 2 năm 2024 do Thành đoàn Hà Nội, Hội Sinh viên Việt Nam thành phố Hà Nội tổ chức. Với khả năng chuyển đổi hai chiều giữa ngôn ngữ ký hiệu (VLS) và văn bản/lời nói, EASY-COMM mang đến những giải pháp thiết thực giúp người khiếm thính dễ dàng giao tiếp và hòa nhập với cộng đồng.
Dự án được thực hiện bởi 4 bạn sinh viên Trường Đại học Mở Hà Nội, bao gồm: Hán Đức Giang (khoa Công nghệ thông tin), phụ trách kỹ thuật và lập trình hệ thống nền tảng; Dương Thị Thanh Thảo (khoa Công nghệ thông tin), phụ trách triển khai và kiểm thử nền tảng; Ngô Duy Đông (khoa Tiếng Anh), đảm nhận thiết kế dữ liệu và bảo mật thông tin; Nguyễn Đức Minh (khoa Tài chính - Ngân hàng), phụ trách truyền thông, quảng bá và kết nối với các đối tác.
Ngoài ra, để thực hiện dự án, các bạn sinh viên cũng được sự hướng dẫn, hỗ trợ từ hai giảng viên của nhà trường. Trong đó có Thạc sĩ Nguyễn Anh Hoàn là giảng viên hướng dẫn, chịu trách nhiệm quản lý tổng thể dự án, điều phối các hoạt động chung của dự án, kết nối các nguồn lực để triển khai dự án và Thạc sĩ Mai Thị Thúy Hà giữ vai trò giảng viên hướng dẫn, phụ trách nghiên cứu và phát triển công nghệ.
EASY-COMM là cầu nối giúp người khiếm thính hòa nhập với xã hội
Chia sẻ với phóng viên Tạp chí điện tử Giáo dục Việt Nam về ý tưởng thực hiện dự án EASY-COMM, đại diện nhóm sinh viên Trường Đại học Mở Hà Nội cho biết, dự án bắt nguồn từ sự đồng cảm với những khó khăn mà người khiếm thính đang gặp phải.
“Khi tham gia một buổi hội thảo về người khuyết tật, chúng em nhận thấy rằng dù công nghệ đang phát triển mạnh mẽ nhưng người khiếm thính vẫn gặp phải rất nhiều rào cản trong giao tiếp hàng ngày. Những công cụ hỗ trợ hiện tại chưa đủ hiệu quả và cũng khó tiếp cận. Chính điều này đã thôi thúc chúng em bắt tay vào sáng tạo EASY-COMM, một nền tảng giúp người khiếm thính giao tiếp hiệu quả hơn và hòa nhập với cộng đồng”, đại diện nhóm sinh viên thông tin.
Dự án EASY-COMM hướng đến các nhóm đối tượng là người khiếm thính và gia đình người khiếm thính; giáo viên và học sinh dạy và học ngôn ngữ ký hiệu; doanh nghiệp, tổ chức cung cấp dịch vụ công và trung tâm hỗ trợ người khuyết tật. Mục tiêu chính của dự án là giúp kết nối cộng động người khiếm thính với xã hội, tạo điều kiện để người khiếm thính hòa nhập và tiếp cận các dịch vụ cơ bản.
Theo đại diện nhóm sinh viên dự án EASY-COMM, vấn đề mà những người khiếm thính đang gặp phải trong thực tế hiện nay bao gồm rào cản ngôn ngữ vì ít người biết ngôn ngữ ký hiệu; số lượng trường học, giáo trình và giáo viên chuyên môn giảng dạy người khiếm thính còn hạn chế. Ngoài ra, người khiếm thính rất khó tìm kiếm việc làm do định kiến và khó khăn trong giao tiếp. Hơn nữa, thiết bị công nghệ hỗ trợ người khiếm thính cũng đắt đỏ và ít phổ biến.
“EASY-COMM không chỉ là nền tảng hỗ trợ giao tiếp cho người khiếm thính, sử dụng công nghệ AI để chuyển đổi hai chiều giữa ngôn ngữ ký hiệu và văn bản/lời nói mà còn là giải pháp giúp nâng cao nhận thức cộng đồng và đào tạo kỹ năng giao tiếp với người khiếm thính.
Dự án hướng đến tăng cường chính sách hỗ trợ người khuyết tật và mở rộng cơ hội giáo dục và nghề nghiệp cho người khiếm thính. Đúng như tên gọi, EASY-COMM thể hiện sự đơn giản, tiện lợi, tạo sự dễ dàng và thuận tiện trong giao tiếp, đặc biệt là đối với cộng đồng người khiếm thính”, đại diện nhóm sinh viên chia sẻ.
Ứng dụng công nghệ tiên tiến vào hệ thống nhận diện ngôn ngữ ký hiệu
Nền tảng EASY-COMM sử dụng công nghệ tiên tiến để xây dựng hệ thống chuyển đổi hai chiều giữa ngôn ngữ ký hiệu và văn bản/lời nói. Để nhận diện ngôn ngữ ký hiệu, công nghệ thị giác máy tính (Computer Vision) và AI học sâu (Deep Learning) là nền tảng chính để hệ thống nhận diện các cử chỉ tay, nét mặt, khẩu hình miệng và chuyển động cơ thể từ camera.
Các công cụ như MediaPipe, OpenPose và BlazePose giúp theo dõi và nhận diện khung xương bàn tay và cơ thể, cho phép hệ thống hiểu được ngôn ngữ ký hiệu thông qua video trực tiếp. Dữ liệu video sẽ được phân tích bằng mạng nơ-ron tích chập (CNN) hoặc Transformer, chuyển đổi các động tác ký hiệu thành văn bản hoặc giọng nói theo thời gian thực. Ở chiều ngược lại, khi người dùng nhập văn bản hoặc nói, hệ thống sẽ tạo ra video mô phỏng ngôn ngữ ký hiệu bằng avatar ảo 3D hoặc sử dụng video ký hiệu có sẵn.
Dự án hướng đến việc phát triển ứng dụng webapp và phần mềm đa nền tảng di động (iOS và Android) tương thích với laptop và điện thoại từ việc tận dụng camera sẵn có, giúp người khiếm thính và cộng đồng giao tiếp hiệu quả, thuận tiện trong cuộc sống hàng ngày mà không cần đến thiết bị chuyên dụng đắt đỏ.
Việc ứng dụng công nghệ tiên tiến cũng khiến nhóm sinh viên dự án EASY-COMM gặp không ít khó khăn trong quá trình thực hiện dự án. Chia sẻ về vấn đề này, đại diện nhóm cho biết:
“Các khó khăn mà nhóm gặp phải là thiếu dữ liệu do kho dữ liệu ngôn ngữ ký hiệu hiện tại còn rất hạn chế, đặc biệt là các ký hiệu đa dạng vùng miền. Điều này làm chậm quá trình huấn luyện mô hình AI. Công nghệ AI, Machine Learning và Deep Learning yêu cầu nguồn tài chính lớn, trong khi nguồn tài trợ ban đầu còn hạn chế.
Ngoài ra, AI còn gặp khó khăn trong việc nhận diện các cử chỉ phức tạp, tốc độ ký hiệu nhanh và sự khác biệt vùng miền trong ngôn ngữ ký hiệu. Việc chuẩn hóa và tích hợp các biến thể ngôn ngữ ký hiệu khác nhau cũng đòi hỏi rất nhiều thời gian và nguồn lực.
Để vượt qua được những khó khăn đó, nhóm đã tăng cường dữ liệu thông qua việc hợp tác với cộng đồng người khiếm thính để quay video và thu thập thêm dữ liệu thực tế. Nhóm cũng tổ chức workshop để thu thập ký hiệu từ các vùng miền, giúp mô hình AI đa dạng và chính xác hơn.
Trong quá trình thực hiện dự án, mô hình AI được cải tiến liên tục và được huấn luyện lại với những dữ liệu mới, sử dụng Machine Learning và Deep Learning để tăng độ chính xác. Công nghệ cảm biến chuyển động cũng được tích hợp để hỗ trợ nhận diện cử chỉ tay chi tiết hơn.
Để có được những phản hồi chính xác và chân thực, dự án EASY-COMM cũng được triển khai thử nghiệm sớm tại các trung tâm giáo dục và doanh nghiệp, thu thập phản hồi từ người dùng thực tế. Kết hợp người thật làm phiên dịch khi AI gặp lỗi, từ đó cải thiện hệ thống và nâng cao trải nghiệm người dùng.
Nhờ những nỗ lực không ngừng của các thành viên dự án, độ chính xác của hệ thống đã được nâng lên đáng kể. Dự án hiện tại không chỉ ổn định hơn mà còn nhận được nhiều phản hồi tích cực từ các tổ chức tham gia thử nghiệm”.
Hướng tới mở rộng phạm vi ứng dụng nền tảng EASY-COMM
EASY-COMM tập trung giải quyết vấn đề thực tế mà cộng đồng người khiếm thính đang gặp phải. Chính vì vậy, dự án nhận được sự quan tâm và ủng hộ từ nhiều cá nhân, tổ chức và các trung tâm hỗ trợ người khuyết tật.
Sau khi đạt giải Nhì tại “Startup Launchpad 2024”, nhóm sinh viên dự án EASY-COMM dự định nâng cấp công nghệ AI, mở rộng tính năng đa ngôn ngữ ký hiệu và tối ưu giao diện. Song song với đó, nhóm sẽ triển khai thí điểm nền tảng EASY-COMM tại các trường học, doanh nghiệp và hợp tác với tổ chức người khiếm thính.
“Dự án EASY-COMM dự kiến tích hợp vào chương trình giáo dục, cụ thể là dạy ngôn ngữ ký hiệu trong trường học. Nền tảng sẽ giúp học sinh, sinh viên khiếm thính dễ dàng theo kịp bài giảng và cũng giúp các học sinh, sinh viên khác giao tiếp với các bạn khiếm thính dễ dàng hơn. Ngoài ra, dự án triển khai phần mềm, ứng dụng chuyển đổi ngôn ngữ ký hiệu trên máy tính, máy tính bảng nên học sinh và giáo viên đều dễ dàng tiếp cận và sử dụng. Tại lớp học cũng có thể lắp đặt camera AI để nhận diện ngôn ngữ ký hiệu và tự động chuyển đổi thành văn bản trên màn hình.
Đối với các doanh nghiệp, EASY-COMM sẽ cung cấp ứng dụng dịch ngôn ngữ ký hiệu tại các cuộc họp hoặc sự kiện nội bộ. Dự án cũng phát triển chatbot hỗ trợ ngôn ngữ ký hiệu trên các nền tảng nội bộ để giải quyết vấn đề hiệu quả. Ngoài ra, về dịch vụ khách hàng, EASY-COMM sẽ tạo hệ thống hỗ trợ khách hàng bằng ngôn ngữ ký hiệu trực tuyến giúp doanh nghiệp dễ dàng tiếp cận nhóm khách hàng khiếm thính và triển khai công nghệ nhận diện ký hiệu tại quầy giao dịch để phục vụ khách hàng khiếm thính nhanh chóng”, đại diện nhóm sinh viên chia sẻ.
EASY-COMM hỗ trợ ngôn ngữ ba miền Bắc - Trung - Nam. Hiện tại, nhóm dự án tập trung phát triển tại miền Bắc và đang trong quá trình nghiên cứu xây dựng bộ dữ liệu ngôn ngữ ký hiệu miền Trung và miền Nam. Sau khi thử nghiệm thành công ở miền Bắc, nhóm sẽ phát triển và ra mắt nền tảng hỗ trợ giao tiếp cho người khiếm thính tại miền Trung, miền Nam.
Theo Thạc sĩ Nguyễn Anh Hoàn, giảng viên Trường Đại học Mở Hà Nội, quản lý dự án EASY-COMM, mặc dù dự án hiện vẫn đang trong giai đoạn nghiên cứu và thử nghiệm nhưng đã mang lại giá trị thực tiễn và nhân văn to lớn cho cộng đồng.
“EASY-COMM góp phần nâng cao nhận thức của cộng đồng về những khó khăn mà người khiếm thính đang gặp phải, đồng thời khuyến khích sự đồng cảm và hỗ trợ từ xã hội.
Bên cạnh đó, đây là một ví dụ điển hình cho việc ứng dụng công nghệ hiện đại như trí tuệ nhân tạo (AI) để giải quyết các vấn đề xã hội. Dự án không chỉ tạo ra một sản phẩm công nghệ mà còn mang giá trị nhân văn sâu sắc.
Tôi tin rằng EASY-COMM là nguồn cảm hứng lớn, thúc đẩy tinh thần sáng tạo và khởi nghiệp của các bạn sinh viên. Nó cho thấy rằng các ý tưởng sáng tạo nếu được định hướng và hỗ trợ đúng cách thì hoàn toàn có thể mang lại những thay đổi tích cực và bền vững cho cộng đồng”, thầy Hoàn bày tỏ.
