資料抓取技術能夠抓取不是網頁版的資料嗎

2021-06-26 08:12:20 字數 588 閱讀 5095

1樓:匿名使用者

網路爬蟲抓取頁面資訊,提取其中的連結,順著連結依次爬行,一般深度優先或者廣度優先,這樣一層一層的抓取,但是網頁上的資訊可能會涉及版權,如果對方不允許爬蟲抓取,robot協議裡禁止抓取,或者設定許可權為登陸狀態才可以,這些都會阻礙爬蟲抓取資料。而web頁面上的資訊,其實是資料庫裡的資料在**上的體現,沒有體現出來的資料庫資料,爬蟲是無法抓取的。除非是給一個入口,這樣爬蟲從入口進去可以抓取資料。-

2樓:長沙博為軟體技術股份

不是網頁版的也沒有關係的,101 異構資料採集技術可以解決問題,它不需要軟體廠商做介面,直接採集資料,就算原來的廠家不在也沒關係啊,採集以後的資料還可以結構化輸出,比如領導想看報表,也可以輸出報表的,這屬於擴充套件功能了。

3樓:

你的問題其實就是oa和倉管軟體的資料對接問題,客戶端軟體資料的採集和對接,如果介面做不了的話,你還可以試試101軟體介面生成器,採集資料的原理不太一樣,是從介面上採集資料,採完存到資料庫再輸出介面,但是我看你需求描述,應該是適合你的。

原來的軟體廠商不在了,介面估計是難了,你可以去試試這個方法,不然就只能用人工做了。

為什麼fiddler抓取不到蘋果手機app請求

測試包檢查 是否設定好 再不行關閉wifi再開啟 再不行重啟fiddle 再不行解除安裝fiddle重新安裝設定,只有這幾個地方,多仔細檢查幾次ok 為什麼fiddler抓取不到蘋果手機app請求 有沒有iphone上直接用的抓包app或外掛 何使用fiddler 抓取ios fiddler是我最喜...

求WOW火焰龜泰羅佩內的抓取巨集,求WOW火焰龜泰羅佩內的抓取巨集!!!!!

tar 泰羅佩內 cast 馴服寵物 不能移動 不能飛天 距離不能過遠 狂按 只要出來了 自動選取目標和馴服 下多玩盒子,抓寵物有報警聲 wow海山火焰龜在哪抓 魔獸世界海加爾山的火焰龜在薩弗隆尖塔外面的火池裡面,從上一次被抓或被殺的時間計算,8 12小時重新整理,具體方法如下 第一步,從暴風城出發...

資料科學與大資料技術專業和大資料技術與應用專業哪好

無所謂好壞,前面的偏近理論研究,需要向博士發展才能有所作為,後面的偏近應用,找工作比較快,但是最終的高度受限,當然還是要看自己努力的 資料科學與大資料技術,智慧科學與技術,這兩個專業我該如何選擇?哪個好 這兩門課,一個是大資料,一個是人工智慧 都是現在炙手可熱的學科。相對而言,大資料適用性更廣一些。...