Près de la moitié du trafic Internet est alimenté par des bots. Les robots ont parcouru le net pendant des années, piratant sans relâche les comptes bancaires, récupérant les billets de Bruno Mars et recherchant des données sur des sites Web. Le problème est si répandu que nous avons lancé le mode Bot Fight en 2019 pour riposter. Depuis lors, plus de 150 000 particuliers et petites entreprises ont utilisé le produit et nous avons reçu d’innombrables demandes de fonctionnalités supplémentaires. Plus d’analyses, plus de détections et plus de contrôles.
Présentation du mode Super Bot Fight.
À partir de maintenant, tout utilisateur de Cloudflare avec un site Pro ou Business peut prendre de nouvelles mesures contre les bots. Nous avons ajouté des fonctionnalités avancées dans le tableau de bord et des mises à jour intéressantes à l’analyse. Les clients gratuits conserveront tous les avantages dont ils ont bénéficié avec le mode Bot Fight, et notre produit Enterprise Bot Management continuera à pousser l’aiguille sur l’innovation.
Dans le tableau de bord
Nos solutions de bot ont une nouvelle maison. Les fonctionnalités dont nous discutons dans cet article de blog vont au-delà d’une simple bascule, nous avons donc créé un hub pour la protection des robots. Dirigez-vous vers l’application Firewall et sélectionnez le sous-onglet «Bots» pour commencer.
Le nouveau hub est en ligne pour tous les utilisateurs, y compris ceux avec Enterprise Bot Management.
Fonctionnalités du plan Pro
Tout d’abord: nous intégrons notre populaire rapport Bot au plan Pro. Ici, vous pouvez voir une répartition du trafic de votre bot, mise à jour en temps réel pour vous aider à repérer les attaques.
Le rapport Bot comprend trois types de trafic:
Le trafic automatisé probable peut provenir de mauvais robots. Nous utilisons l’heuristique, l’apprentissage automatique et d’autres techniques pour repérer ces demandes. Dans la plupart des cas, ce trafic nuira à votre site sans rien fournir d’utile en retour.
Le trafic humain probable est légitime et important. Idéalement, la grande majorité de votre trafic correspond à ce type.
Le trafic de bot vérifié provient de bons robots sur Internet. Nous avons vérifié des robots de recherche comme Google et des services de notification de paiement comme PayPal. La plupart des utilisateurs choisissent d’autoriser ce trafic.
Toutes ces données sont également disponibles via GraphQL. Donc, si vous cherchez à surveiller régulièrement le trafic des robots, l’API vous aidera à le faire.
Les utilisateurs Pro peuvent également faire plus pour arrêter les bots – sélectionnez «Configurer le mode Super Bot Fight» pour ajouter une protection. Les points forts incluent:
La possibilité de contester ou de bloquer le trafic provenant de sources «définitivement automatisées». Notez que cela n’affectera que le trafic dont nous sommes le plus sûrs qu’il provienne des bots.
L’option permettant d’activer les détections JavaScript pour identifier les navigateurs sans tête et les autres acteurs sur Internet.
La possibilité d’inclure ou d’exclure les bots vérifiés de la protection.
Si votre site interagit avec Slack, par exemple, vous pouvez exclure les bots vérifiés pour aider Slackbot à faire son travail. Ou si vous remarquez une augmentation de la fraude publicitaire, essayez de contester le trafic automatisé et observez les résultats.
Business Plan Features
Bot Analytics is now included with the Business plan.
We originally launched Bot Analytics to give our Enterprise users more visibility. Since the launch, however, Business users have asked us for many of the same insights. And because Cloudflare has always tried to democratize technology (as we’ve done with Firewall Events and other products), this is something we had to do.
Business users can access a new version of Bot Analytics; one that is designed to work with the mitigation tools described below. Users can view traffic by type, adjust the time frame, and filter by different attributes like IP address or user agent.
Another perk: Bot Analytics shows how we categorize traffic. Scroll to “requests by detection source” to understand which engine flagged a particular request. If you want to learn more about our detection engines, check out our blog post on the topic.
Of course, we also added new mitigation features. While Pro users can defend against “definitely automated” traffic, Business users can also target “likely automated” traffic. What’s the difference? The latter includes requests scored by our machine learning engine. These requests often come from sophisticated bots — the ones that evade simple security tools by rotating IPs or convincingly imitating humans.
Perhaps your site suffers from inventory hoarding. You list items for sale, but they are almost immediately claimed by bots. Understandably, your customers are upset (and so are you!). Go ahead and use Bot Analytics to pinpoint the attacker, and if the attack falls under “likely automated,” consider blocking this traffic.
We also realize that different sites may have different sensitivities to bot traffic. Users can respond appropriately by issuing a challenge, blocking entirely, or doing nothing at all.
These features are all included in the Cloudflare Business plan. Once you enable mitigation, check your Firewall Events tab to watch traffic get blocked or challenged.
Enterprise Bot Management
For those with more advanced security needs, Bot Management remains the gold standard. And it’s only getting better.
Unlike Bot Fight Mode, Bot Management is built directly into the Firewall. This means that users can restrict their bot protection to a particular path (like a /login endpoint). Bot Management also includes granular bot scores, which users can pair with other attributes to produce more powerful protection. It even includes Anomaly Detection, which we use to recognize outlier patterns on your site.
We also continue to improve Bot Management. For example, just moments ago, we announced early access to API Abuse Detection. This announcement follows months of research and development. We’re using unsupervised learning to map out APIs, identify legitimate user flows, and keep out bad bots. The end result: Cloudflare will be able to protect your mobile apps (without an SDK) and secure your API endpoints (without any provided schema). Read more about the early access period.
These features (and countless others) will continue to guard the Internet’s largest sites. If you think you need Bot Management, let us know.
Helping to Build a Better Internet
Cloudflare’s goal has always been to help build a better Internet. This mission extends to every part of the Internet — and to every person who uses it.
Today’s introduction of Super Bot Fight Mode was born from this mission, particularly from the idea that we are stronger as a united front against bots. Each website we protect is one that bots will waste their resources on. At Cloudflare, we are actively fighting back, and unleashing new challenges that will disincentivize bot operation with tarpitting.
We encourage you to enable Super Bot Fight Mode today. Cloudflare now offers bot protection with every plan (including Free), so there’s no excuse not to try it! Test the new features and let us know what you think.
