俄罗斯精品一区二区三区-国产三区av-九九九九精品九九九九-男女av网站-日本少妇aa一级特黄大片-玩两个丰满老熟女

PHP如何解決網站的大數據大流量與高并發

發布時間:2020-03-16 瀏覽:

1：硬件方面

普通的一個p4的服務器每天最多能支持大約10萬左右的IP，如果訪問量超過10W那么需要專用的服務器才能解決，如果硬件不給力 軟件怎么優化都是于事無補的。主要影響服務器的速度

有：網絡-硬盤讀寫速度-內存大小-cpu處理速度。

2：軟件方面

第一個要說的就是數據庫，首先要有一個很好的架構，查詢盡量不用* 避免相關子查詢 給經常查詢的添加索引 用排序來取代非順序存取，如果條件允許 ，一般MySQL服務器最好安裝

在Linux操作系統中 。關于apache和nginx在高并發的情況下推薦使用nginx，ginx是Apache服務器不錯的替代品。nginx內存消耗少 官方測試能夠支撐5萬并發連接，在實際生產環境中跑

到2～3萬并發連接數。php方面不需要的模塊盡量關閉，使用memcached，Memcached 是一個高性能的分布式內存對象緩存系統，不使用數據庫直接從內存當中調數據，這樣大大提升了速

度，iiS或Apache啟用GZIP壓縮優化網站，壓縮網站內容大大節省網站流量。

第二，禁止外部的盜鏈。

外部網站的圖片或者文件盜鏈往往會帶來大量的負載壓力，因此應該嚴格限制外部對于自身的圖片或者文件盜鏈，好在目前可以簡單地通過refer來控制盜鏈，Apache自己就可以通過配置來禁止盜鏈，IIS也有一些第三方的ISAPI可以實現同樣的功能。當然，偽造refer也可以通過代碼來實現盜鏈，不過目前蓄意偽造refer盜鏈的還不多，可以先不去考慮，或者使用非技術手段來解決，比如在圖片上增加水印。

第三，控制大文件的下載。

大文件的下載會占用很大的流量，并且對于非SCSI硬盤來說，大量文件下載會消耗CPU，使得網站響應能力下降。因此，盡量不要提供超過2M的大文件下載，如果需要提供，建議將大文件放在另外一臺服務器上。

第四，使用不同主機分流主要流量

將文件放在不同的主機上，提供不同的鏡像供用戶下載。比如如果覺得RSS文件占用流量大，那么使用FeedBurner或者FeedSky等服務將RSS輸出放在其他主機上，這樣別人訪問的流量壓力就大多集中在FeedBurner的主機上，RSS就不占用太多資源了

第五，使用不同主機分流主要流量將文件放在不同的主機上，提供不同的鏡像供用戶下載。比如如果覺得RSS文件占用流量大，那么使用FeedBurner或者FeedSky等服務將RSS輸出放在其他主機上，這樣別人訪問的流量壓力就大多集中在FeedBurner的主機上，RSS就不占用太多資源了。

第六，使用流量分析統計軟件。在網站上安裝一個流量分析統計軟件，可以即時知道哪些地方耗費了大量流量，哪些頁面需要再進行優化，因此，解決流量問題還需要進行精確的統計分析才可以。比如：Google Analytics（Google分析）。

高并發和高負載的約束條件：硬件、部署、操作系統、Web 服務器、PHP、MySQL、測試

部署：服務器分離、數據庫集群和庫表散列、鏡像、負載均衡

負載均衡分類： 1)、DNS輪循 2）代理服務器負載均衡 3）地址轉換網關負載均衡 4）NAT負載均衡 5）反向代理負載均衡 6）混合型負載均衡

部署方案1：

適用范圍：靜態內容為主體的網站和應用系統；對系統安全要求較高的網站和應用系統。

Main Server：主服務器

承載程序的主體運行壓力，處理網站或應用系統中的動態請求；

將靜態頁面推送至多個發布服務器；

將附件文件推送至文件服務器；

安全要求較高，以靜態為主的網站，可將服務器置于內網屏蔽外網的訪問。

DB Server：數據庫服務器

承載數據庫讀寫壓力；

只與主服務器進行數據量交換，屏蔽外網訪問。

File/Video Server：文件/視頻服務器

承載系統中占用系統資源和帶寬資源較大的數據流；

作為大附件的存儲和讀寫倉庫；

作為視頻服務器將具備視頻自動處理能力。

發布服務器組：

只負責靜態頁面的發布，承載絕大多數的Web請求；

通過Nginx進行負載均衡部署。

部署方案2：

適用范圍：以動態交互內容為主體的網站或應用系統；負載壓力較大，且預算比較充足的網站或應用系統；

Web服務器組：

Web服務無主從關系，屬平行冗余設計；

通過前端負載均衡設備或Nginx反向代理實現負載均衡；

劃分專用文件服務器/視頻服務器有效分離輕/重總線；

每臺Web服務器可通過DEC可實現連接所有數據庫，同時劃分主從。

數據庫服務器組：

相對均衡的承載數據庫讀寫壓力；

通過數據庫物理文件的映射實現多數據庫的數據同步。

共享磁盤/磁盤陣列

將用于數據物理文件的統一讀寫

用于大型附件的存儲倉庫

通過自身物理磁盤的均衡和冗余，確保整體系統的IO效率和數據安全；

方案特性：

通過前端負載均衡，合理分配Web壓力；

通過文件/視頻服務器與常規Web服務器的分離，合理分配輕重數據流；

通過數據庫服務器組，合理分配數據庫IO壓力；

每臺Web服務器通常只連接一臺數據庫服務器，通過DEC的心跳檢測，可在極短時間內自動切換至冗余數據庫服務器；

磁盤陣列的引入，大幅提升系統IO效率的同時，極大增強了數據安全性。

Web服務器：

Web服務器很大一部分資源占用來自于處理Web請求，通常情況下這也就是Apache產生的壓力，在高并發連接的情況下，Nginx是Apache服務器不錯的替代品。Nginx (“engine x”) 是俄羅斯人編寫的一款高性能的 HTTP 和反向代理服務器。在國內，已經有新浪、搜狐通行證、網易新聞、網易博客、金山逍遙網、金山愛詞霸、校內網、YUPOO相冊、豆瓣、迅雷看看等多家網站、 頻道使用 Nginx 服務器。

Nginx的優勢：

高并發連接：官方測試能夠支撐5萬并發連接，在實際生產環境中跑到2～3萬并發連接數。

內存消耗少：在3萬并發連接下，開啟的10個Nginx 進程才消耗150M內存（15M*10=150M）。

內置的健康檢查功能：如果 Nginx Proxy 后端的某臺 Web 服務器宕機了，不會影響前端訪問。

策略：相對于老牌的Apache，我們選擇Lighttpd和Nginx這些具有更小的資源占用率和更高的負載能力的web服務器。

Mysql：

MySQL本身具備了很強的負載能力，MySQL優化是一項很復雜的工作，因為這最終需要對系統優化的很好理解。大家都知道數據庫工作就是大量的、 短時的查詢和讀寫，除了程序開發時需要注意創建索引、提高查詢效率等軟件開發技巧之外，從硬件設施的角度影響MySQL執行效率最主要來自于磁盤搜索、磁盤IO水平、CPU周期、內存帶寬。

　　根據服務器上的硬件和軟件條件進行MySQl優化。MySQL優化的核心在于系統資源的分配，這不等于無限制的給MySQL分配更多的資源。在MySQL配置文件中我們介紹幾個最值得關注的參數：

改變索引緩沖區長度(key_buffer)

改變表長(read_buffer_size)

設定打開表的數目的最大值(table_cache)

對緩長查詢設定一個時間限制(long_query_time)

如果條件允許 ，一般MySQL服務器最好安裝在Linux操作系統中，而不是安裝在FreeBSD中。策略： MySQL優化需要根據業務系統的數據庫讀寫特性和服務器硬件配置，制定不同的優化方案，并且可以根據需要部署MySQL的主從結構。

PHP：

1、加載盡可能少的模塊；

2、如果是在windows平臺下，盡可能使用IIS或者Nginx來替代我們平常用的Apache；

3、安裝加速器（都是通過緩存php代碼預編譯的結果和數據庫結果來提高php代碼的執行速度）eAccelerator，eAccelerator是一個自由開放源碼php加速器，優化和動態內容緩存，提高了性能php腳本的緩存性能，使得PHP腳本在編譯的狀態下，對服務器的開銷幾乎完全消除。

Apc：Alternative PHP Cache（APC）是 PHP 的一個免費公開的優化代碼緩存。它用來提供免費，公開并且強健的架構來緩存和優化 PHP 的中間代碼。

memcache：memcache是由Danga Interactive開發的，高性能的，分布式的內存對象緩存系統，用于在動態應用中減少數據庫負載，提升訪問速度。主要機制是通過在內存里維護一個統 一的巨大的hash表，Memcache能夠用來存儲各種格式的數據，包括圖像、視頻、文件以及數據庫檢索的結果等

Xcache：國人開發的緩存器，

策略： 為PHP安裝加速器。

代理服務器（緩存服務器）：

Squid Cache（簡稱為Squid）是一個流行的自由軟件（GNU通用公共許可證）的代理服務器和Web緩存服務器。Squid有廣泛的用途，從作為網頁服務器的前置cache服務器緩存相關請求來提高Web服務器的速度，到為一組人共享網絡資源而緩存萬維網，域名系統和其他網絡搜索，到通過過濾流量幫助網絡安全，到局域網通過代理網。Squid主要設計用于在Unix一類系統運行。

策略：安裝Squid 反向代理服務器，能夠大幅度提高服務器效率。

壓力測試：壓力測試是一種基本的質量保證行為，它是每個重要軟件測試工作的一部分。壓力測試的基本思路很簡單：不是在常規條件下運行手動或自動測試，而是在計算機數量較少或系統資源匱乏的條件下運行測試。通常要進行壓力測試的資源包括內部內存、CPU 可用性、磁盤空間和網絡帶寬等。一般用并發來做壓力測試。壓力測試工具：webbench，ApacheBench等

漏洞測試：在我們的系統中漏洞主要包括：sql注入漏洞，xss跨站腳本攻擊等。安全方面還包括系統軟件，如操作系統漏洞，mysql、apache等的漏洞，一般可以通過升級來解決。

漏洞測試工具：Acunetix Web Vulnerability Scanner