Tăng tốc index dữ liệu website với IndexNow

 

Các chủ sở hữu website thường phải tìm mọi phương pháp để nội dung của họ được lập chỉ mục (index) một cách nhanh nhất. Trừ khi bạn sở hữu một trang web đủ lớn, nếu không, rất có thể các công cụ tìm kiếm chỉ thu thập dữ liệu trang web của bạn để index nội dung mới vài ngày một lần. Để giải quyết vấn đề này, đồng thời cải thiện hiệu quả thu thập thông tin, Microsoft Bing và Yandex đã hợp tác để tạo ra một giao thức dựa trên API có tên là IndexNow.

IndexNow là gì?

IndexNow là một giao thức cho phép bạn thông báo với các công cụ tìm kiếm về những thay đổi trên trang web của bạn bằng một yêu cầu HTTP. Với mỗi lệnh gọi API, bạn có thể cung cấp cho các công cụ tìm kiếm sử dụng IndexNow một danh sách lên đến 10.000 URL đã thay đổi nội dung trên trang web của bạn.

IndexNow nhằm mục đích làm cho internet trở nên hiệu quả hơn. Đó là một nỗ lực để giúp các công cụ tìm kiếm cải thiện hiệu năng thu thập thông tin bằng cách loại bỏ việc thu thập thông tin hàng loạt gây tiêu tốn tài nguyên không cần thiết.

Các dịch vụ CDN đang hỗ trợ IndexNow như thế nào?

CDN thường là những dịch vụ đầu tiên nhận được tín hiệu khi người dùng cập nhật nội dung trên trang web của họ. Hơn nữa, chúng có thông tin chi tiết về hành vi của trình thu thập thông tin để tận dụng IndexNow một cách hiệu quả.

CloudFlare, dịch vụ CDN lớn nhất thế giới (với hơn 80% thị phần), đã hỗ trợ IndexNow. Họ đã tích hợp nó vào tính năng Crawler Hints và cung cấp miễn phí cho người dùng.

Tương tự, Akamai, một nhà cung cấp dịch vụ CDN hàng đầu khác, cũng đã công bố hỗ trợ IndexNow để khách hàng của họ có thể gửi thông báo dễ dàng hơn đến các công cụ tìm kiếm khi nội dung được lưu trong bộ nhớ cache của họ thay đổi.

Với sự hỗ trợ của các dịch vụ CDN hàng đầu trong ngành, có khả năng thu thập thông tin của công cụ tìm kiếm sẽ sớm chuyển từ trạng thái chủ động sang phản ứng với các yêu cầu.

Sự khác biệt giữa IndexNow và API Indexing của Google

Google đã ra mắt API lập chỉ mục của mình vào năm 2018. Mặc dù IndexNow có cách tiếp cận tương tự, nhưng Microsoft đưa nó đến với đại chúng thay vì một bộ phận nhỏ của internet.

API của Google chỉ dành cho các trang có tin tuyển dụng và nội dung phát trực tiếp (live stream). Ngược lại, IndexNow hỗ trợ tất cả các loại nội dung.

IndexNow chấp nhận tối đa 10.000 URL cho mỗi lệnh gọi API, trong khi Google chỉ hỗ trợ 100 URL. Hơn nữa, quy trình triển khai của IndexNow rất đơn giản, trong khi quy trình của Google phức tạp hơn đáng kể.

IndexNow vs XML Sitemaps

Bạn cập nhật sơ đồ trang web (XML sitemaps), ping các công cụ tìm kiếm và đợi chúng thu thập thông tin sơ đồ trang web để khám phá các thay đổi trước khi thu thập dữ liệu và lập chỉ mục. Cách tiếp cận truyền thống này dường như đã bắt đầu lỗi thời.

IndexNow giải quyết vấn đề này bằng cách hiển thị trước cho các công cụ tìm kiếm thông tin mà chúng cần. Trình thu thập thông tin của công cụ tìm kiếm không cần phải kiểm tra lại các sơ đồ trang web để biết thông tin mới cập nhật.

Và không giống như XML sitemaps, chỉ giúp bạn chuyển hướng trình thu thập thông tin đến các trang trên website của mình, IndexNow cho phép bạn thông báo cho các công cụ tìm kiếm về các mã trạng thái của trang không phải là 200, chẳng hạn như 403, 301 và 302.

Nhưng điều đó không có nghĩa là sơ đồ trang web không còn tác dụng. Bing và Yandex chỉ đại diện cho một phần nhỏ của internet. Công cụ tìm kiếm chiếm thị phần lớn nhất, Google, vẫn đang thử nghiệm IndexNow và chưa công bố bất kỳ kế hoạch nào để áp dụng nó.

Google có cơ sở hạ tầng cần thiết để xây dựng một giải pháp thay thế cho IndexNow. Họ chỉ cần sửa đổi và nâng cấp nó. Tuy nhiên, bất kể quyết định của họ là gì, rõ ràng là một tương lai nơi quá trình lập chỉ mục website chuyển sang phương pháp tiếp cận dựa trên API sẽ không còn xa.

Tăng tốc index website bằng IndexNow

Có 2 cách để làm điều này: thủ công và tự động.

Phương pháp thủ công

1. Truy cập link sau đây, kéo xuống mục Generate API Key, click vào biểu tượng download để tải file TXT chứa API Key về máy tính của bạn. Các bạn cũng có thể click vào nút Generate để đổi một API Key khác. Ví dụ ở đây tôi có API Key là d4170665a96444438e7c3533dbd04735.

2. Upload file TXT chứa API Key vào thư mục gốc (nơi cài đặt mã nguồn website của bạn). Đối với mã nguồn WordPress thì file này phải nằm ngang hàng với file wp-config.php. Truy cập thử link file để biết chắc chắn nó đã được upload đúng vị trí.

Nhớ thay www.example.com bằng link website và d4170665a96444438e7c3533dbd04735 bằng API Key của bạn. Nếu làm đúng, bạn sẽ nhận được kết quả chính là API Key đã tạo ở bước 1.

3. Để submit link của một trang trên website của bạn đến Bing, hãy sử dụng cấu trúc tương tự như bên dưới:

Còn đây là cấu trúc dành cho Yandex:

Nhớ thay www.example.com/product.html và d4170665a96444438e7c3533dbd04735 bằng URL trang và API Key của bạn.

Phương pháp tự động

Nếu website của bạn đang sử dụng CloudFlare CDN (có bật proxy) thì tất cả những gì bạn cần làm là truy cập vào tài khoản CloudFlare => chọn đúng tên miền của website => chọn tab Caching => chọn tiếp tab Configuration => tìm và bật tính năng Crawler Hints lên.

Thật đơn giản phải không nào? Chúc các bạn thành công!

Bạn có đang sử dụng công cụ IndexNow nói chung và tính năng Crawler Hints của CloudFlare nói riêng để tăng tốc index dữ liệu cho website không? Bạn đánh giá thế nào về mức độ hiệu quả và tương lai của chúng? Hãy cho chúng tôi biết ý kiến của bạn thông qua khung bình luận bên dưới.