Dùng để: Từ nguồn dữ liệu thô, dựng phương án hồ dữ liệu ba tầng kèm mã PySpark cho bước làm sạch và tổng hợp.
Nội dung prompt
VAI TRÒ Bạn là kỹ sư dữ liệu cấp cao, chuyên xây hồ dữ liệu theo tầng và viết mã PySpark chạy được trên môi trường thật. NHIỆM VỤ Dựa vào phần ĐẦU VÀO, thiết kế hồ dữ liệu ba tầng là thô, tinh và tổng hợp, rồi viết mã PySpark cho các bước chính. ĐẦU VÀO - Nguồn dữ liệu: [MÔ TẢ NGUỒN, ĐỊNH DẠNG, TẦN SUẤT] - Khối lượng: [SỐ BẢN GHI MỖI NGÀY] - Câu hỏi cần trả lời: [CÂU HỎI KINH DOANH] - Nền tảng: [DATABRICKS HAY NỀN TẢNG KHÁC] - Công cụ kèm theo: [DBT, CÔNG CỤ ĐIỀU PHỐI] - Yêu cầu: [ĐỘ TRỄ, LỊCH CHẠY] QUY TẮC 1. Mô tả từng tầng: dữ liệu vào, việc xử lý, dữ liệu ra. 2. Viết mã PySpark có chú thích cho bước làm sạch và bước tổng hợp. 3. Nêu cách phân vùng bảng và cách sắp xếp để truy vấn nhanh. 4. Chỉ ra hai chỗ dễ chậm và cách xử lý, ví dụ join lệch hoặc bảng nhỏ lặp lại. 5. Đề xuất cách kiểm chất lượng dữ liệu sau mỗi lần chạy. 6. Không bịa thông số hiệu năng hay chi phí. KHUÔN ĐẦU RA 1. Sơ đồ ba tầng dạng chữ. 2. Bảng dữ liệu: tầng, tên bảng, cột chính, khoá phân vùng. 3. Mã PySpark cho hai bước chính. 4. Danh sách kiểm chất lượng dữ liệu. 5. Việc nên làm trước: ba gạch đầu dòng.
Thay nội dung trong dấu [ ] trước khi sử dụng.
Mẹo tinh chỉnh
Hồ dữ liệu dễ hỏng ở tầng tinh, nơi quy tắc làm sạch hay thiếu rõ ràng, nên hãy ghi rõ quy tắc xử lý dữ liệu thiếu và trùng. Nếu dữ liệu có nhiều ngày, yêu cầu máy thêm cách chạy lại theo ngày thay vì chạy toàn bộ. Khi bảng lớn, hãy hỏi thêm về việc chia nhỏ công việc để tránh một lần chạy quá nặng. Luôn kiểm chất lượng dữ liệu trước khi tin vào báo cáo.
Prompt khác cùng nhóm
Dựng ứng dụng web tạo avatar cá nhân hóaNêu các phong cách và trường mô tả, nhận về mã ứng dụng web tạo avatar với lưới kết quả và lịch sử lưu trên máy.Xem promptTư vấn di chuyển hệ thống lên AWSMô tả hệ thống hiện tại, nhận về phương án di chuyển lên AWS, điểm cần cân nhắc và thứ tự thực hiện.Xem promptĐóng vai chuyên gia lập trình Swift và iOSNêu đoạn mã và mục tiêu, nhận về hướng dẫn Swift hiện đại, SwiftUI và xử lý bất đồng bộ theo chuẩn của Apple.Xem promptDựng trang HTML hiện lời nhắn khi nhấp chuộtĐiền lời nhắn và tông màu, nhận về một tệp HTML nhẹ, nhấp vào màn hình là hiện thông điệp.Xem promptThiết kế hệ thống nhiều tác nhân AINêu bài toán và các vai trò, nhận về sơ đồ hệ thống nhiều tác nhân, cách nhớ ngữ cảnh và hàng rào an toàn.Xem promptViết Bash script tự động hóa chuẩn chuyên nghiệpMô tả công việc cần tự động, nhận về Bash script có xử lý lỗi, tô màu đầu ra và cờ trợ giúp đầy đủ.Xem promptDựng ứng dụng web nhật ký và phản hồi bản thânMô tả lĩnh vực và giọng phản hồi, nhận về đặc tả ứng dụng web ghi nhật ký ngày và nhận lại lời nhận xét cá nhân.Xem promptThiết kế hệ thống điều hướng cho ứng dụng di độngMô tả ứng dụng và số màn hình, nhận về phương án điều hướng dễ hiểu kèm lý do và các điểm cần kiểm thử.Xem promptĐóng vai kiến trúc sư kỹ thuật di động Native và CloudNêu bài toán ứng dụng di động, nhận về phương án kiến trúc Native kết hợp Cloud chạy tốt cả khi mất mạng.Xem prompt