C程序處理上百萬上千萬資料時,都有什么方法?越詳細越好。資料庫和程序方面考慮要詳細

2022-11-24 05:35:02 字數 562 閱讀 1856

1樓:匿名使用者

在應用層面, 必須要將上千萬的資料載入記憶體使用的情況, 根據不同的應用目的, 可以採用memcached或mongodb這樣的採用物件集合實現的非關係型資料庫系統. 千萬行資料的規模, 也能夠提供毫秒級的存取.

在資料庫層面, 為提高效能將資料分割是比較常用的手段. 根據不同的情況, 使用日期, 應用主體等等維度來分割資料表.

在架構層面, 對單點無法負載的應用, 需要針對不同情況, 根據不同的維度對應用進行垂直分割, 或水平分割, 或綜合使用. 簡單來說, 垂直分割就是根據應用主體, 將所有應用功能憑據分佈到多個節點, 實現負載平均, 好處是易於擴充套件. 水平分割就是根據應用模組, 將應用拆分成多個節點, 好處是可以有針對性靈活部署.

以上說的只是一些優化建議, 請詳細描述你的應用情況, 才能給出針對性的方案.

如果你只需要解決應用層面的問題, 我實在是想象不出有什麼情況需要將這麼大規模的資料全部載入記憶體操作.

2樓:匿名使用者

等微軟把hadoop完整的整合過來,就可以,目前只能用開源的apache的hadoop,學習中。。。

藥店裡買的幾塊錢的維生素C,跟上百元的有什麼區別

1 成分。不同 的維生素c除了提純和新增的輔料不一樣外,維生素c的含量相同的情況下,功效並沒有區別。2元左右的維生素c一般是藥用的,是純維生素c,較高的維生素c大多屬於保健品,部分新增有色素 甜味劑 食用香精 澱粉等輔料。2 口感。2元左右的維生素c,口感較差,容易受潮。而經特殊工藝加工 新增了不同...