Đánh giá Máy chủ Dell EMC PowerEdge R740xd NVMe
Dell EMC PowerEdge R740xd được ra mắt cách đây hơn ba năm một chút khi công ty nâng cấp dòng máy chủ PowerEdge của mình từ Broadwell lên Xeon SP. R740xd là một nhánh của R740, một phiên bản “extreme disk” (đĩa cực hạn) với nhiều tùy chọn lưu trữ hơn. Chúng tôi đã đánh giá Dell EMC PowerEdge R740xd và khá thích nó. Tua nhanh sự khởi đầu của CPU Intel Xeon Scalable thế hệ thứ 2. Chúng tôi cũng đã nâng cấp các máy R740xd trong phòng thí nghiệm của mình với các bộ xử lý mới và giải thích chi tiết điều đó tại đây. Hôm nay chúng ta sẽ xem xét thêm một số tùy chọn lưu trữ NVMe có thể được sử dụng với máy chủ R740xd đã được nâng cấp này.
Giống như tất cả các sản phẩm PowerEdge, R740xd có khả năng cấu hình rất cao. Về phía NVMe, có một vài tùy chọn. Đầu tiên là các khay phía trước. Tùy thuộc vào cách máy chủ được cấu hình khi mua, người dùng có thể sử dụng tất cả các khay phía trước cho ổ SSD NVMe 2.5”. Để tối đa hóa băng thông, người dùng có thể cấu hình các khay phía trước thành 12 ổ SSD NVMe và 12 ổ SSD SAS. Theo các nhóm 4 ổ, các ổ SSD NVMe có thể được ánh xạ tới một trong các CPU thông qua các card mở rộng PCI Extender. Nếu dung lượng lưu trữ NVMe tối đa ở mặt trước là điều bạn hướng tới hơn, tất cả 24 khay có thể được lấp đầy bằng các ổ SSD NVMe với việc ánh xạ 12 ổ mỗi bên tới các bộ chuyển mạch PCIe để cho phép hệ thống cung cấp vượt mức (overprovision) các làn PCIe cho nhiều ổ NVMe hơn trong khi vẫn bảo toàn được các khe cắm I/O, từ đó cho phép CPU truy cập với độ trễ thấp tới mười hai thiết bị trên mỗi CPU.
Đối với bài đánh giá này, về cơ bản chúng tôi đang xem xét một cấu hình được thiết lập theo tùy chọn đầu tiên ở trên. Chúng tôi đã lắp 12 ổ SSD Micron 9300 NVMe (3.84TB) vào các khay phía trước. Cấu hình này sử dụng ba card cầu PCIe (PCIe bridge cards) ở ba trong số các khe cắm phía sau. Mặc dù điều này sẽ mang lại cho chúng tôi hiệu suất lưu trữ tốt hơn, nhưng nó sẽ lấy đi một số tùy chọn như thêm GPU, FPGA, hoặc thậm chí là thêm nhiều dung lượng lưu trữ hơn ở phía sau. Dell đã cung cấp hình đồ họa ở trên để giúp người đọc có hình dung rõ hơn về cách họ bố trí nó.
Thông số kỹ thuật Máy chủ Dell EMC PowerEdge R740xd:
| Processor | Up to two 2nd Generation Intel Xeon Scalable processors with up to 28 cores per processor |
| Form Factor | 2U Rack Server |
| Operating System | Canonical Ubuntu Server LTS Citrix Hypervisor Microsoft Windows Server with Hyper-V Red Hat Enterprise Linux SUSE Linux Enterprise Server VMware ESXi |
| Dimensions & Weight | Height 86.8m (3.4”) Width 434mm (17.1″) Depth 737.5mm (29.0″) Weight 33.1kg (73.0lbs.) |
| Memory | |
| DIMM Speed | Up to 2933MT/s |
| Memory Type | RDIMM LRDIMM NVDIMM DCPMM (Intel Optane DC persistent memory) |
| Memory Module Slots | 24 DDR4 DIMM slots (12 NVDIMM or 12 DCPMM only) Supports registered ECC DDR4 DIMMs only |
| Maximum RAM | RDIMM 1.53TB LRDIMM 3TB NVDIMM 192GB DCPMM 6.14TB (7.68TB with LRDIMM) |
| Management | |
| Embedded / At-the-Server | iDRAC9 iDRAC RESTful API with Redfish iDRAC Direct Quick Sync 2 BLE/wireless module |
| Consoles | OpenManage Enterprise OpenManage Power Center |
| Mobility | OpenManage Mobile |
| Tools | Dell EMC RACADM CLI Dell EMC Repository Manager Dell EMC System Update Dell EMC Server Update Utility Dell EMC Update Catalogs iDRAC Service Module OpenManage Server Administrator OpenManage Storage Services |
| OpenManage Integrations | BMC Truesight Microsoft System Center RedHat Ansible Modules VMware vCenter |
| OpenManage Connections | IBM Tivoli Netcool/OMNIbus IBM Tivoli Network Manager IP Edition Micro Focus Operations Manager I Nagios Core Nagios XI |
| Ports | |
| Network Options | 4 x 1GbE 2 x 10GbE + 2 x 1bGE 4 x 10GbE 2 x 25GbE |
| Front Ports | 1 x Dedicated iDRAC direct USB 2 x USB 2.0 1 x USB 3.0 (optional) 1 x VGA |
| Rear Ports | 1 x Dedicated iDRAC network port 1 x Serial 2 x USB 3.0 1 x VGA |
| Storage Controllers | Internal Controllers: PERC H330, H730P, H740P, HBA330 External Controllers (RAID): H840, 12 Gbps SAS HBA Software RAID: S140 Internal Boot: Boot Optimized Storage Subsystem (BOSS): HWRAID 2 x M.2 SSDs 240GB, 480 GB Internal Dual SD Module |
| Accelerators | Up to three 300W or six 150W GPUs Up to three double-wide FPGAs or four single-wide FPGAs GPU and FPGA options available only on 24 x 2.5” drive chassis. Up to two GPUs are supported on NVMe configurations. |
| Storage | |
| Front Bays | Up to 24 x 2.5” SAS/SSD/NVMe, max 184TB Up to 12 x 3.5” SAS, max 192TB |
| Mid Bay | Up to 4 x 3.5” SAS, max 64TB Up to 4 x 2.5” SAS/SSD, max 30.72TB |
| Rear Bays | Up to 4 x 2.5” SAS/SSD, max 30.72TB Up to 2 x 3.5” SAS, max 32TB |
| Security | Cryptographically signed firmware Secure Boot Secure Erase Silicon Root of Trust System Lockdown (requires OpenManage Enterprise) TPM 1.2/2.0, TCM 2.0 optional |
| Power Supplies | 495W Platinum 750W Platinum 750W Titanium 750W 240VDC 1100W Platinum 1100W 380VDC 1600W Platinum 2000W Platinum 2400W Platinum 1100W -48VDC Gold Hot plug power supplies with full redundancy option Up to 6 hot plugs fans with full redundancy |
| Slots | |
| PCIe | 8 x Gen3 slots (4 x 16) |
| Video Card | 1 x VGA |
Cấu hình cho bài đánh giá này
– CPU 2 x Intel Scalable Platinum 8280
– DRAM 12 x 32GB DDR4-2933MHz
– Lưu trữ 12 x Ổ SSD Micron 9300 3.84TB U.2 NVMe
Hiệu suất
Hiệu suất SQL Server
Giao thức thử nghiệm Microsoft SQL Server OLTP của chúng tôi sử dụng bản dự thảo hiện tại của Điểm chuẩn C từ Hội đồng Hiệu suất Xử lý Giao dịch (TPC-C), một điểm chuẩn xử lý giao dịch trực tuyến mô phỏng các hoạt động trong môi trường ứng dụng phức tạp. Điểm chuẩn TPC-C giúp đánh giá các điểm mạnh về hiệu suất và nút thắt cổ chai của hạ tầng lưu trữ trong môi trường cơ sở dữ liệu chính xác hơn so với các điểm chuẩn hiệu suất tổng hợp. Mỗi máy ảo (VM) SQL Server được cấu hình với hai ổ đĩa ảo (vDisk): một phân vùng 100GB để khởi động và một phân vùng 500GB dành cho cơ sở dữ liệu và các tệp nhật ký (log files). Từ góc độ tài nguyên hệ thống, chúng tôi đã cấu hình mỗi máy ảo với 16 vCPU, 64GB DRAM và tận dụng bộ điều khiển LSI Logic SAS SCSI. Trong khi các khối lượng công việc Sysbench của chúng tôi được thử nghiệm trước đó đã làm bão hòa nền tảng cả về I/O lưu trữ và dung lượng, thì bài kiểm tra SQL này hướng đến hiệu suất về độ trễ. Bài kiểm tra này sử dụng SQL Server 2014 chạy trên các máy ảo khách Windows Server 2012 R2 và được tạo áp lực bởi công cụ Benchmark Factory for Databases của Dell. Trong khi cách sử dụng truyền thống của chúng tôi đối với điểm chuẩn này là kiểm tra các cơ sở dữ liệu quy mô lớn 3.000 trên lưu trữ cục bộ hoặc lưu trữ chia sẻ, thì trong phiên bản này, chúng tôi tập trung vào việc phân bổ đều bốn cơ sở dữ liệu quy mô 1.500 trên các máy chủ của mình.
Cấu hình Thử nghiệm SQL Server (trên mỗi máy ảo)
– Windows Server 2012 R2
– Dung lượng Lưu trữ: 600GB được cấp phát, 500GB được sử dụng
– SQL Server 2014
– Kích thước Cơ sở dữ liệu: Quy mô 1.500 scale
– Khách hàng ảo: 15.000
– Bộ đệm RAM: 48GB
Thời lượng Thử nghiệm: 3 giờ
– 2,5 giờ chạy mồi (preconditioning)
– 30 phút lấy mẫu
Đối với điểm chuẩn SQL Server, lần này chúng tôi chỉ xem xét độ trễ trung bình, đối với các bộ xử lý Intel Xeon Scalable 8280, máy chủ đạt điểm tổng hợp là 1ms và các máy ảo riêng lẻ đều đạt mức 1ms. Điều này có nghĩa là Dell EMC PowerEdge R740xd với ổ NVMe đã đạt được điểm số tốt nhất có thể cho bài kiểm tra cụ thể này. Với bộ xử lý 8180, chúng tôi đã ghi nhận điểm tổng hợp là 4ms.
Hiệu suất Sysbench MySQL
Bài kiểm tra điểm chuẩn ứng dụng lưu trữ cục bộ đầu tiên của chúng tôi bao gồm một cơ sở dữ liệu Percona MySQL OLTP được đo lường thông qua SysBench. Bài kiểm tra này đo lường TPS (Số giao dịch mỗi giây) trung bình, độ trễ trung bình và cả độ trễ ở phân vị thứ 99 trung bình. Mỗi máy ảo (VM) Sysbench được cấu hình với ba ổ đĩa ảo (vDisk): một để khởi động (~92GB), một chứa cơ sở dữ liệu được tạo sẵn (~447GB) và ổ thứ ba dành cho cơ sở dữ liệu đang được kiểm tra (270GB). Từ góc độ tài nguyên hệ thống, chúng tôi đã cấu hình mỗi máy ảo với 16 vCPU, 60GB DRAM và tận dụng bộ điều khiển LSI Logic SAS SCSI.
Cấu hình thử nghiệm Sysbench (trên mỗi máy ảo)
– CentOS 6.3 64-bit
– Percona XtraDB 5.5.30-rel30.1
– Số bảng Cơ sở dữ liệu: 100
– Kích thước Cơ sở dữ liệu: 10.000.000 Số luồng
– Cơ sở dữ liệu: 32
– Bộ đệm RAM: 24GB
Thời gian thử nghiệm: 3 giờ
– 2 giờ chạy mồi (preconditioning) 32 luồng
– 1 giờ 32 luồng
Với Sysbench OLTP, chúng tôi đã thử nghiệm bộ xử lý Intel Xeon Scalable 8280 với 4 ổ SSD NVMe cùng 8 máy ảo (VM) trên máy chủ R640 (đạt tổng điểm là 18.897 TPS) và với 8 ổ SSD NVMe cùng 8 máy ảo trên máy chủ R740xd (đạt tổng điểm là 19.656 TPS). Chúng tôi cũng đã thử nghiệm bộ xử lý Intel Xeon Scalable 8180 với 4 ổ SSD NVMe và 4 máy ảo để đạt tổng điểm là 13.046 TPS.
Với độ trễ trung bình, cấu hình R640 sử dụng 4 ổ NVMe với 8 máy ảo đạt độ trễ tổng hợp là 13,55ms. Đối với cấu hình R740xd sử dụng 8 ổ NVMe với 8 máy ảo, độ trễ tổng hợp đạt mức 13,02ms. Cấu hình R640 sử dụng 4 ổ NVMe với 4 máy ảo có độ trễ tổng hợp là 9,81ms.
Đối với độ trễ trong kịch bản tồi tệ nhất (phân vị thứ 99), cấu hình R640 sử dụng 4 ổ NVMe với 8 máy ảo đạt độ trễ tổng hợp là 25,2ms. Đối với cấu hình R740xd sử dụng 8 ổ NVMe với 8 máy ảo, độ trễ tổng hợp đạt mức 25,6ms. Và cấu hình R640 sử dụng 4 ổ NVMe với 4 máy ảo có độ trễ tổng hợp là 19,9ms.
Phân tích khối lượng công việc VDBench
Khi nói đến việc chấm điểm hiệu năng (benchmarking) các mảng lưu trữ, kiểm tra bằng ứng dụng là tốt nhất, và kiểm tra tổng hợp đứng ở vị trí thứ hai. Mặc dù không phản ánh một cách hoàn hảo các khối lượng công việc thực tế, các bài kiểm tra tổng hợp vẫn giúp tạo cơ sở thiết lập mức hiệu năng tiêu chuẩn cho các thiết bị lưu trữ với hệ số lặp lại cao, giúp dễ dàng thực hiện việc so sánh trực diện (apples-to-apples) giữa các giải pháp cạnh tranh nhau. Các khối lượng công việc này cung cấp một loạt các cấu hình kiểm tra khác nhau, từ các bài kiểm tra “bốn góc” (four corners), các bài kiểm tra kích thước truyền dữ liệu cơ sở dữ liệu phổ biến, cho đến việc ghi lại dấu vết (trace captures) từ các môi trường VDI khác nhau. Tất cả các bài kiểm tra này đều tận dụng trình tạo khối lượng công việc vdBench phổ biến, cùng với một công cụ lập kịch bản để tự động hóa và ghi lại các kết quả trên một cụm kiểm tra tính toán lớn. Điều này cho phép chúng tôi lặp lại các khối lượng công việc tương tự trên nhiều loại thiết bị lưu trữ khác nhau, bao gồm các mảng ổ flash và các thiết bị lưu trữ riêng lẻ.
Cấu hình (Profiles):
– Đọc ngẫu nhiên 4K (4K Random Read): 100% Đọc, 128 luồng, mức thiết lập iorate từ 0-120%
– Ghi ngẫu nhiên 4K (4K Random Write): 100% Ghi, 64 luồng, mức thiết lập iorate từ 0-120%
– Đọc tuần tự 64K (64K Sequential Read): 100% Đọc, 16 luồng, mức thiết lập iorate từ 0-120%
– Ghi tuần tự 64K (64K Sequential Write): 100% Ghi, 8 luồng, mức thiết lập iorate từ 0-120%
– Cơ sở dữ liệu tổng hợp (Synthetic Database): SQL và Oracle
– Dấu vết VDI Bản sao đầy đủ và Bản sao liên kết (VDI Full Clone and Linked Clone Traces)
Với hiệu suất đọc ngẫu nhiên 4K, máy chủ R740xd đã có bước khởi đầu mạnh mẽ với 583.280 IOPS ở độ trễ 97,3µs, và tiếp tục tiến lên đạt mức đỉnh điểm là 5.718.018 IOPS với độ trễ chỉ dừng lại ở mức 231,4µs.
Hiệu suất ghi ngẫu nhiên 4K của máy chủ bắt đầu ở mức 364.364 IOPS với độ trễ chỉ 19,5µs. Độ trễ này duy trì ở mức dưới 100µs cho đến khi gần đạt đỉnh, cụ thể là đạt mức đỉnh điểm 2.635.495 IOPS với độ trễ 131,5µs trước khi giảm xuống một chút.
Tiếp theo là các khối lượng công việc tuần tự khi chúng tôi xem xét kích thước 64K. Đối với hiệu suất đọc 64K, máy chủ R740xd đã đạt mức đỉnh điểm là 644.539 IOPS, tương đương 40,3GB/s, với độ trễ là 552,8µs.
Hiệu suất ghi tuần tự 64K ghi nhận máy chủ bắt đầu ở mức 55.601 IOPS, tương đương 3,5GB/s, với độ trễ 47,4µs trước khi tiến lên đạt đỉnh ở mức 236.987 IOPS, tương đương 14,8GB/s, với độ trễ 499.6µs trước khi một lần nữa giảm xuống một chút.
Tập hợp các bài kiểm tra tiếp theo của chúng tôi là các khối lượng công việc SQL bao gồm: SQL, SQL 90-10, và SQL 80-20. Bắt đầu với bài kiểm tra SQL tiêu chuẩn, máy chủ đã đạt mức đỉnh điểm là 2.397.926 IOPS với độ trễ là 155,8µs.
Đối với bài kiểm tra SQL 90-10, máy chủ R740xd đã đạt mức đỉnh điểm là 2.283.529 IOPS với độ trễ là 152,4µs.
Với bài kiểm tra SQL 80-20, máy chủ Dell đã đạt mức đỉnh điểm là 2.038.981 IOPS với độ trễ là 160,4µs.
Tiếp theo là các khối lượng công việc Oracle bao gồm: Oracle, Oracle 90-10, và Oracle 80-20. Bắt đầu với bài kiểm tra Oracle tiêu chuẩn, máy chủ đã khởi đầu với độ trễ dưới 100µs và tiếp tục tiến lên đạt mức đỉnh điểm là 1.955.923 IOPS với độ trễ là 163,5µs.
Bài kiểm tra Oracle 90-10 ghi nhận mức đỉnh điểm đạt 1.918.464 IOPS với độ trễ là 130,2µs.
Tiếp theo là bài kiểm tra Oracle 80-20, nơi máy chủ R740xd một lần nữa khởi đầu với độ trễ dưới 100µs và đạt mức đỉnh điểm là 1.755.168 IOPS với độ trễ là 133,7µs.
Tiếp theo, chúng tôi chuyển sang bài kiểm tra bản sao VDI, bao gồm bản sao đầy đủ (Full Clone) và Bản sao liên kết (Linked Clone). Đối với tiến trình khởi động bản sao đầy đủ VDI (VDI FC Boot), máy chủ Dell EMC PowerEdge R740xd đã đạt mức đỉnh điểm là 1.839.481 IOPS với độ trễ là 193,9µs.
Bài kiểm tra đăng nhập ban đầu bản sao đầy đủ VDI (VDI FC Initial Login) ghi nhận máy chủ khởi đầu với độ trễ dưới 100µs và tiếp tục tiến lên đạt mức đỉnh điểm là 547.765 IOPS với độ trễ là 235,5µs.
Đối với tiến trình đăng nhập ngày thứ hai bản sao đầy đủ VDI (VDI FC Monday Login), máy chủ R740xd đã đạt mức đỉnh điểm là 493.984 IOPS với độ trễ là 197,7µs.
Chuyển sang tiến trình khởi động bản sao liên kết VDI (VDI LC Boot), máy chủ Dell đã đạt mức đỉnh điểm là 820.857 IOPS với độ trễ là 185,6µs.
Bài kiểm tra đăng nhập ban đầu bản sao liên kết VDI (VDI LC Initial Login) ghi nhận mức đỉnh điểm đạt 316.762 IOPS với độ trễ là 196,1µs.
Cuối cùng, với tiến trình đăng nhập ngày thứ hai bản sao liên kết VDI (VDI LC Monday Login), máy chủ R740xd đã đạt mức đỉnh điểm là 313.815 IOPS với độ trễ là 274,1µs.
Kết luận
Trong nhiều năm qua, Dell EMC PowerEdge R740xd đã đóng vai trò là xương sống cho nhiều bài kiểm tra hiệu năng (benchmarks) của chúng tôi. Một trong những lợi ích lớn nhất của dòng sản phẩm PowerEdge chính là khả năng cấu hình linh hoạt. Trong bài đánh giá này, chúng tôi xem xét cấu hình trang bị một nửa ổ NVMe của R740xd, cụ thể là được trang bị 12 khe cắm SATA/SAS và 12 khe cắm NVMe.
Trong phần phân tích khối lượng công việc ứng dụng (Application Workload Analysis), chúng tôi đã thử nghiệm cả hai bộ xử lý Intel Xeon Scalable 8280 và 8180. Đối với dòng 8280, chúng tôi đã kiểm tra cả hai cấu hình: 8 ổ NVMe SSD chạy với 8 máy ảo (VMs) và 4 ổ NVMe SSD chạy với 4 máy ảo. Còn đối với dòng 8180, chúng tôi thử nghiệm cấu hình 4 ổ NVMe SSD cùng 4 máy ảo. Trong kiểm tra SQL Server, chúng tôi chỉ xem xét độ trễ và kết quả đều đạt mức đồng đều 1ms cho bộ xử lý 8280 — đây là điểm số tốt nhất mà bất kỳ máy chủ nào có thể đạt được trong bài kiểm tra này. Đối với bài kiểm tra Sysbench sử dụng bộ xử lý 8280 với cấu hình 8 ổ NVMe và 8 máy ảo, chúng tôi ghi nhận hiệu năng đạt 18.897 TPS, độ trễ trung bình là 13,56ms và độ trễ trong trường hợp xấu nhất là 25,2ms. Với cấu hình 8280 kết hợp 8 ổ NVMe và 4 máy ảo, kết quả đạt 19.656 TPS, độ trễ trung bình 13,02ms và độ trễ trường hợp xấu nhất là 25,6ms. Cuối cùng, với bộ xử lý 8180, kết quả đạt được là 13.046 TPS, độ trễ trung bình 9,81ms và độ trễ trường hợp xấu nhất là 19,9ms.
Chuyển sang phần kiểm tra VDBench, máy chủ R740xd khi kết hợp với ổ NVMe đã mang lại những kết quả vô cùng ấn tượng. Những điểm nhấn nổi bật bao gồm: 5,7 triệu IOPS đối với hiệu suất đọc 4K, 2,6 triệu IOPS đối với ghi 4K, băng thông đạt 40,3GB/s cho đọc 64K và 14,8GB/s cho ghi 64K. Với khối lượng công việc SQL, chúng tôi ghi nhận mức hiệu năng đạt 2,4 triệu IOPS, bài kiểm tra SQL 90-10 đạt 2,3 triệu IOPS và SQL 80-20 đạt 2 triệu IOPS. Đối với bài kiểm tra Oracle, máy chủ đạt các mức đỉnh điểm lần lượt là 1,96 triệu IOPS, bài kiểm tra Oracle 90-10 đạt 1,9 triệu IOPS và Oracle 80-20 đạt 1,76 triệu IOPS. Trong bài kiểm tra bản sao VDI (VDI clone), chúng tôi ghi nhận mức hiệu năng đạt 1,8 triệu IOPS đối với tiến trình Khởi động Bản sao đầy đủ VDI (VDI FC boot); sau đó, hiệu năng giảm xuống dưới mốc 1 triệu IOPS với tiến trình Đăng nhập ban đầu VDI FC đạt 548K IOPS, Đăng nhập ngày thứ Hai VDI FC đạt 494K IOPS, Khởi động Bản sao liên kết VDI (VDI LC boot) đạt 821K IOPS, Đăng nhập ban đầu VDI LC đạt 317K IOPS và Đăng nhập ngày thứ Hai VDI LC đạt 314K IOPS.
Dòng máy chủ Dell EMC PowerEdge R740xd với khả năng cấu hình cực kỳ linh hoạt cùng 12 khe cắm NVMe đã mang lại những kết quả rất ấn tượng. Chúng tôi đã chứng kiến mức IOPS vượt xa mốc hàng triệu trong hầu hết các bài kiểm tra VDBench, cùng với băng thông đạt tới 40,3GB/s. Để chạm tới cấp độ hiệu năng này, người dùng sẽ phải hy sinh một số khe cắm mở rộng PCIe; tuy nhiên, nếu hiệu năng lưu trữ tốc độ cao là yếu tố tiên quyết cần có trên một máy chủ, thì Dell EMC PowerEdge R740xd hoàn toàn đáp ứng hoàn hảo yêu cầu đó.
__________________________________________________
📞 Liên hệ Megacore để được tư vấn cấu hình phù hợp và giải pháp hạ tầng cho doanh nghiệp – hoàn toàn miễn phí
🌐 Website: megacore.net
📧 Email: [email protected]
📲 Hotline: 0345 888 868
Cảm ơn bạn đã tin tưởng và lựa chọn sản phẩm của Megacore. Chúng tôi cam kết mang đến cho bạn những sản phẩm chất lượng và dịch vụ tốt nhất!
