2019-2020 第二學(xué)期《統計實(shí)務(wù)》期末考核任務(wù) 一、考核目標 1. 使用 shinydashboard 開(kāi)發(fā)銀行數據爬蟲(chóng)系統; 2. 針對銀行爬取數據撰寫(xiě)至少 2000 字的開(kāi)發(fā)統計報告 1 篇。
二、具體要求
1. 爬蟲(chóng)系統開(kāi)發(fā)要求
(1)
至少包含的字段:銀行名稱(chēng)、所在省份、所在城市、理財產(chǎn)品名稱(chēng)、理財產(chǎn)品編碼、始銷(xiāo)日、停銷(xiāo)日、起息日、停息日、起購金額、最低年化收益率、最高年化收益率、銷(xiāo)售渠道、目標客戶(hù)等; (2)Rsqlite 數據庫至少包括:用戶(hù)數據表、銀行信息數據表、銀行理財產(chǎn)品數據表; 表 1:用戶(hù)數據表 字段 含義 Id 用戶(hù) id(自動(dòng)遞增)
Username 用戶(hù)名 Sex 性別 Phone 電話(huà)號碼 Pwd 登陸密碼 Addtime 添加時(shí)間(默認當前時(shí)間)
表 2:銀行信息表 字段 含義 Id 銀行 id(自動(dòng)遞增)
Name 銀行名稱(chēng) Prov 銀行所在省份 City 銀行所在城市 http 銀行官網(wǎng)主頁(yè)地址 Product_url 理財產(chǎn)品網(wǎng)頁(yè)地址 Input_auth_id 錄入用戶(hù) id(與表 1 進(jìn)行關(guān)聯(lián))
Addtime 添加事件(默認當前時(shí)間)
表 3:理財產(chǎn)品數據表 字段 含義 Id 理財產(chǎn)品 id(自動(dòng)遞增)
Name 理財產(chǎn)品名稱(chēng)(設置 unique 屬性防止重復寫(xiě)入)
Bank_id 所屬銀行 id(與表 2 關(guān)聯(lián))
Code 理財產(chǎn)品編碼 Input_auth_id 錄入用戶(hù) id(與表 1 進(jìn)行關(guān)聯(lián))
Start_sale_date 始銷(xiāo)日 End_sale_date 停銷(xiāo)日 Start_inte_date 起息日 end_inte_date 停息日 Start_mount 起購金額(萬(wàn)元),注意換算 Interest_low 最低年化收益率 Interest_high 最高年化收益率
Sale_ways 銷(xiāo)售渠道 Customer 目標客戶(hù) Addtime 添加事件(默認當前時(shí)間)
?。?)界面設計包含四大模塊 [1] 用戶(hù)操作模塊:支持用戶(hù)信息的增、刪、改、查; [2] 銀行信息錄入模塊:支持銀行信息的增、刪、改、查; [3] 理財產(chǎn)品爬蟲(chóng)模塊:待爬取銀行名稱(chēng)下拉列表控件、爬蟲(chóng)啟動(dòng)按鈕控件(點(diǎn)擊即執行爬蟲(chóng)任務(wù),在 server 中注入爬蟲(chóng)程序即可完成)、理財產(chǎn)品爬蟲(chóng)數據列表控件; [4]
數據分析模塊:待展示銀行下拉列表控件、數據匯總列表控件(各銀行理財產(chǎn)品日發(fā)布數列表、月發(fā)布數列表、年發(fā)布數列表)、圖形控件(數據時(shí)序圖、數據圖條形圖)、文字簡(jiǎn)報控件(文本控件,可以?xún)H說(shuō)明當日、當月、當年理財產(chǎn)品數,這部分數據僅能在理財產(chǎn)品數據表抽取數據計算而得,不能固化)。
(4) 至少要爬取 2 家銀行,靜態(tài)、動(dòng)態(tài)均可,僅限于自己選擇銀行。
2. 統計報告撰寫(xiě)要求:
[0]
報告標題; [1] 報告背景:在中國知網(wǎng)查詢(xún)文獻,闡述理財產(chǎn)品分析的重要性和意義; [2] 報告工作組織框架:比如,爬蟲(chóng)系統設計、爬蟲(chóng)系統開(kāi)發(fā)、銀行遴選、爬蟲(chóng)數據分析; [3] 爬蟲(chóng)數據庫設計思路; [4] 系統面板開(kāi)發(fā)思路與具體方法,截圖展示面板設計框架和數據庫信息; [5] 爬蟲(chóng)代碼編寫(xiě)思路與具體方法(僅需對爬蟲(chóng)代碼設計思想進(jìn)行闡述,完整代碼放在附錄); [6] 理財產(chǎn)品時(shí)間序列分析(包括分析方法、分析結果、系統面板結果展示,截圖展示結果); [7] 報告總結; [8] 研究展望; [9] 代碼附錄。
三、 注意事項 1. 截止時(shí)間:務(wù)必 7 月 3 日前完成本次期末考核任務(wù),否則無(wú)本門(mén)課程期末成績(jì); 2. 提交材料:數據庫電子版 1 份(需含有用戶(hù)信息、銀行信息、爬蟲(chóng)內容等)、系統代碼電子稿 1 份、開(kāi)發(fā)統計報告電子稿和紙質(zhì)稿各 1 份,內容務(wù)必一致,否則視為無(wú)效統計報告; 3. 所有電子稿需打包到一個(gè)文件夾,并使用【學(xué)號+姓名】命名,比如:00000 張三。并發(fā)給學(xué)習委員,匯總后學(xué)習委員發(fā)到郵箱:lijianbo@jsnu.edu.cn,不接受個(gè)人提交。
4. 開(kāi)發(fā)統計報告 A4 紙打印裝訂,頁(yè)眉編輯個(gè)人信息(姓名、班級、學(xué)號)