(2025年)專科大數據競賽題庫及答案

(2025年)專科大數據競賽題庫及答案一、單項選擇題（每題2分，共20分）1.以下關于HDFS默認塊大小的描述，正確的是（）。A.32MBB.64MBC.128MBD.256MB答案：C2.在Spark中，以下屬于行動（Action）操作的是（）。A.map()B.filter()C.reduce()D.flatMap()答案：C3.數據清洗中處理缺失值的方法不包括（）。A.直接刪除含有缺失值的記錄B.用變量均值填充缺失值C.用KNN算法預測缺失值D.保留缺失值用于后續建模答案：D4.SQL語句中，用于按指定字段分組統計的關鍵字是（）。A.ORDERBYB.GROUPBYC.HAVINGD.WHERE答案：B5.以下Python庫中，專門用于數據可視化的是（）。A.NumPyB.PandasC.MatplotlibD.Scikit-learn答案：C6.關于Hadoop集群節點類型的描述，錯誤的是（）。A.NameNode負責管理文件系統元數據B.DataNode負責存儲數據塊C.SecondaryNameNode是NameNode的熱備份D.JobTracker（舊版）負責任務調度答案：C（注：SecondaryNameNode并非熱備份，而是輔助NameNode合并編輯日志）7.若需從Pandas的DataFrame中提取前5行數據，應使用（）。A.df.head(5)B.df.tail(5)C.df.iloc[5]D.df.loc[5]答案：A8.以下不屬于SparkRDD特性的是（）。A.不可變B.可分區C.自動持久化D.惰性計算答案：C（注：RDD需手動調用persist()或cache()進行持久化）9.數據倉庫的核心特點是（）。A.實時性高B.面向事務處理C.面向主題D.數據易變答案：C10.用Python進行相關分析時，計算兩個變量Pearson相關系數的函數是（）。A.df.corr()B.df.cov()C.df.describe()D.df.plot()答案：A二、填空題（每題2分，共20分）1.Hadoop的核心組件包括HDFS和____。答案：MapReduce2.Spark中，RDD的持久化級別默認是____。答案：MEMORY_ONLY（內存存儲，不序列化）3.數據可視化中，用于展示時間序列數據的常用圖表是____。答案：折線圖4.SQL中，用于去除重復行的關鍵字是____。答案：DISTINCT5.數據清洗的主要步驟包括缺失值處理、____、數據轉換和數據標準化。答案：異常值處理6.Python中，讀取CSV文件到PandasDataFrame的函數是____。答案：pd.read_csv()7.HDFS中，文件被分割成塊存儲，塊的元數據由____管理。答案：NameNode8.SparkRDD的兩種創建方式是____和從其他RDD轉換。答案：從外部存儲系統加載（或“從集合中創建”）9.若需統計DataFrame中某列“年齡”的最大值，應使用____方法。答案：df['年齡'].max()10.大數據的4V特性包括Volume（大量）、Velocity（高速）、Variety（多樣）和____。答案：Value（低價值密度）三、簡答題（每題8分，共40分）1.簡述HadoopMapReduce的工作流程。答案：MapReduce流程主要包括以下步驟：（1）輸入分片：將輸入數據劃分為多個分片（Split），每個分片由一個Mapper處理；（2）Map階段：每個Mapper對分片數據進行處理，輸出鍵值對（Key-Value）；（3）洗牌（Shuffle）：將Mapper輸出的鍵值對按Key分組，傳輸到對應的Reducer；（4）Reduce階段：Reducer對相同Key的Value進行聚合計算，輸出最終結果；（5）輸出：將Reducer結果寫入存儲系統（如HDFS）。2.數據清洗中，如何識別和處理異常值？答案：識別異常值的常用方法：（1）統計方法：計算均值±3倍標準差，超出范圍的值為異常；（2）可視化方法：箱線圖中超過上下四分位數1.5倍IQR的點為異常；（3）模型方法：如聚類算法（DBSCAN）檢測離群點。處理方法：（1）刪除異常值（數據量充足時）；（2）用均值、中位數或插值法填充；（3）保留異常值并標注（若為真實業務場景特殊值）。3.比較HDFS與本地文件系統的主要區別。答案：（1）設計目標：HDFS面向大數據存儲，支持海量數據分布式存儲；本地文件系統面向單機小文件存儲。（2）數據塊大小：HDFS默認塊大小128MB（可配置），本地文件系統通常為4KB-64KB。（3）冗余機制：HDFS默認3副本冗余，本地文件系統無自動冗余。（4）寫入方式：HDFS僅支持一次寫入、多次讀取，不支持隨機修改；本地文件系統支持任意位置讀寫。（5）適用場景：HDFS適合離線大數據處理；本地文件系統適合實時小文件操作。4.解釋SparkRDD的容錯機制。答案：RDD通過“血統（Lineage）”機制實現容錯。RDD記錄了其依賴的父RDD和轉換操作（如map、filter），當某分區數據丟失時，Spark可根據血統重新計算該分區，而無需存儲所有中間數據。相比Hadoop的復制冗余，血統機制減少了存儲開銷，但需要保留足夠的轉換鏈信息。5.設計一個用Pandas處理電商訂單數據的流程（假設數據包含“用戶ID、訂單時間、訂單金額、商品類別”）。答案：處理流程如下：（1）數據加載：用pd.read_csv()讀取CSV文件，指定日期列解析為datetime類型；（2）缺失值處理：檢查各列缺失情況，若“訂單金額”缺失，用同類商品均值填充；若“商品類別”缺失且占比小，直接刪除；（3）異常值檢測：用箱線圖分析“訂單金額”，刪除超過均值±3σ的異常訂單；（4）特征工程：從“訂單時間”提取月份、星期等維度；計算用戶復購率（同一用戶訂單數≥2的比例）；（5）數據聚合：按“商品類別”分組，統計銷售額、訂單量，輸出TOP5類別；（6）結果輸出：將處理后的數據保存為新CSV，或可視化展示分析結論。四、編程題（每題10分，共20分）1.用Python的Pandas完成以下操作（數據文件：order_data.csv，字段：用戶ID（user_id）、訂單時間（order_time）、訂單金額（amount））：（1）讀取數據，將order_time列轉換為datetime類型；（2）篩選2024年1月的訂單；（3）計算該月訂單金額的平均值和中位數；（4）按用戶ID分組，統計每個用戶的訂單數量，輸出前10名用戶。答案：```pythonimportpandasaspd（1）讀取數據并轉換時間類型df=pd.read_csv('order_data.csv')df['order_time']=pd.to_datetime(df['order_time'])（2）篩選2024年1月訂單df_jan=df[(df['order_time'].dt.year==2024)&(df['order_time'].dt.month==1)]（3）計算平均值和中位數avg_amount=df_jan['amount'].mean()median_amount=df_jan['amount'].median()print(f"1月訂單金額平均值：{avg_amount:.2f}，中位數：{median_amount:.2f}")（4）統計用戶訂單數量并輸出前10user_orders=df_jan.groupby('user_id')['order_time'].count().reset_index(name='訂單數量')top10_users=user_orders.sort_values('訂單數量',ascending=False).head(10)print("前10名用戶訂單數量：")print(top10_users)```2.用SparkRDD實現文本文件詞頻統計（文件路徑：/user/text.txt），要求：（1）排除停用詞（如“the”“and”“of”）；（2）按詞頻降序輸出前20個單詞。答案：```pythonfrompysparkimportSparkContextsc=SparkContext("local","WordCount")讀取文件并轉換為RDDtext_rdd=sc.textFile("/user/text.txt")定義停用詞集合stop_words={"the","and","of","a","to","in","is","it","you","that"}詞頻統計流程word_counts=text_rdd\.flatMap(lambdaline:line.lower().split())\分割單詞并轉小寫.filter(lambdaword:wordnotinstop_words)\過濾停用詞.map(lambdaword:(word,1))\轉換為（單詞，1）.reduceByKey(lambdaa,b:a+b)\按詞聚合計數.map(lambdax:(x[1],