Robots.txt 文件:它是什么、如何创建它以及如何针对 SEO 优化它

robots.txt 文件是一个文本文件,其中包含一些搜索引擎(例如 Google 或 Bing)的指令。因此,我们通过该文件指出我们网站的哪些页面应该被扫描,哪些页面不应该被扫描。

但为什么这个文件如此重要呢?它如何影响我们博客的搜索引擎优化?

在本文中,我们将更详细地了解robots.txt 文件是什么、如何创建它以及如何优化它,以帮助搜索引擎机器人正确抓取我们的网站。

让我们开始吧!

我们在这篇文章中谈论什么?

要衡量您的努力是否有效,请跟踪 C级执行名单 电子邮件的基本指标,例如打开率、点击率和转化率。这些指标将让您深入了解受众的偏好,并帮助您完善信息传递。通过将有针对性的电话营销与战略性高管电子邮件列表相结合,您可以建立更牢固的关系,推动参与度,并最终提高转化率!

什么是 robots.txt 文件
robots.txt 文件的指令
如何创建 robots.txt 文件
如何优化 robots.txt 文件以进行 SEO
如何更新 robots.txt 文件
最后的反思
什么是 robots.txt 文件
从文件扩展名我们可以猜测,robots.txt 是一个普通的文本文件,其中包含搜索引擎的指令。

因此,通过这些指令(也称为指令),可以向搜索引擎爬虫指示应该扫描的网站部分以及应该从扫描中排除的部分,例如那些不得公开的部分,例如/ wp 页面 -WordPress 管理。

但是 robots.txt 文件由哪些元素组成?

我们一起来看看主要的吧。

C级执行名单

robots.txt 文件的指令
主要指令以及可能最常用的指令是:

User Agent,该元素用于指示应用规则的爬虫名称,例如 *或googlebot
Disallow,该指令用于指定要排除在爬取范围之外的页面、目录或文件(该指令不会从搜索引擎索引中删除资源),例如/wp-admin/
允许,该指令用于授权爬虫抓取特定的 URL、目录或文件 – 从而指示上一条规则的例外情况
Sitemap,该元素用于向机器人指定 XML Sitemap 的 URL。
一般来说,robots.txt文件的编写是委托给SEO专家的。

如何创建 robots.txt 文件
为您的网站创建 robots.txt 文件非常简单。事实上,您所需要做的就是打开一个文本编辑器,输入搜索引擎指令并将其以 UTF-8 编码保存,并将其命名为“robots.txt”。

但是,要获得 robots.txt 文件的正确配置,您必须遵循精确的语法规则:

指令必须分组写入文件中
必须报告用户代理以及要 如何为您的博客创建有效的邮件列表 从扫描中排除的网站部分
每行只能包含一个指令
搜索引擎机器人按照从上到下的顺序接收文件中写入的指令
可以使用行开头的 # 字符将注释插入到文件中
由于文件区分大小写,因此必须区分大小写字母。
文件创建后,必须上传到我们网站的主根目录。
还可以使用免费的在线工具(例如Toolset.it 生成器)创建 robots.txt 文件。

借助此工具,可以自动生成 robots.txt 文件,您只需选择要从扫描中排除或不排除的内容,设置例外 – 即主要排除规则的 URL 或目录例外 – 并指示 URL您的 XML 站点地图。然后该工具将自动创建该文件。

如果您的网站是使用 WordPress CMS 开发的,您可以通过 SEO 插件(例如 Yoast SEO 或Rank Math SEO)创建 robots.txt 文件,这些插件不仅会生成文件,还允许您直接从平台后端修改它。

例如,以下是您网站的robots.txt 文件的可能基本配置:

用户代理:*(所有用 AR 数字 户代理)
禁止:#(输入要从扫描中排除的站点部分的路径)
允许:#(输入您希望爬虫可以访问的之前禁止的任何 URL 或资源文件)
站点地图:#(站点地图 URL)。
以我博客的robots.txt文件为例,其配置为:

用户代理:*
禁止:/wp-admin/
允许:/wp-admin/admin-ajax.php
站点地图:https://www.eleonorabadelli.com/sitemap_index.xml
创建文件后,检查是否存在可能对整个网站取消索引的错误非常重要。

为此,只需转到机器人测试工具,这是一个 Google 工具,用于检测文件中所有可能的逻辑和语法错误并测试其正确功能。

如何优化 robots.txt 文件以进行 SEO
robots.txt 文件对于优化 SEO至关重要,因为它允许搜索引擎机器人知道如何最好地抓取网站。

事实上,正确配置 robots.txt可以让您:

防止扫描重复内容——尤其是在电子商务中
防止抓取对有机定位目的没有多大价值的页面,例如网站的内部搜索结果页面
避免请求使服务器过载。
最终从 SEO 角度优化 robots.txt 可以让您节省抓取预算,即可供爬虫扫描的每个网站的扫描预算。

该预算实际上是有限的,只应花在对于定位目的真正关键的页面上。

如何更新 robots.txt 文件
更新 robots.txt 文件(例如添加或删除某些指令)非常简单。事实上,您只需重写该文件并将其重新上传到您网站的根目录即可。

或者,如果您使用 RankMath,则可以直接在 WordPress 仪表板中执行此操作,方法是转至左侧菜单并选择Rank Math > 常规设置 > 编辑 robots.txt。

编辑机器人txt排名数学
最后的反思
robots.txt 文件通常是创建强大且有效的 SEO 策略并帮助搜索引擎正确抓取您的网站的有效盟友。

你知道这意味着什么吗?没错:甚至可以提高您的搜索引擎排名。

因此,请立即检查您是否已经创建并上传了 robots.txt 文件,并使用机器人测试工具检查是否没有错误。

当谈到通过博客赚钱时,我们最关注的方面之一是增加我们网站的流量。

让我们明确一点:这本身并不是一个错误。然而,能够创建成功的博客并能够从中赚钱的另一个基本要素经常被忽视,即创建有效的邮件列表。

人们习惯说“钱在清单上”。这仍然是事实。事实上,例如,考虑一下该博客 80% 以上的收入来自邮件列表。

在这篇文章中我们将详细讨论这个话题。

事实上,您会发现什么是邮件列表以及为什么它对于博客至关重要,我们将一起了解如何创建有效的邮件列表,我们将分析发送给您的联系人的最佳电子邮件类型以创建一个与他们建立关系,优化您的转化并增加您的收入。

准备好迎接这个新的冒险了吗?场地介绍完了,让我们直接进入场景的核心吧!

我们在这篇文章中谈论什么?
什么是邮件列表?
为什么拥有博客后拥有电子邮件列表如此重要
如何创建有效的邮件列表
邮件列表或社交媒体?
您应该向您的联系人发送什么类型的电子邮件?
最后的反思
什么是邮件列表?
首先要做的事情是:邮件列表是什么意思?

为了尽可能简化这个概念,邮件列表只是我们的读者、客户和博客访问者的电子邮件地址列表。基本上,所有那些在了解我们的内容和我们所做的事情后希望与我们保持联系的人的名单。

您如何获得这些电子邮件地址?有几种方法。

最简单的 – 也是最常用的 – 是通过我们网站上的选择表单,就像您也可以在本段开始之前在此页面上找到的表单一样。

为了吸引读者向我们提供他们的电子邮件地址,我们通常会提供一些交换条件,例如免费资源、折扣优惠券等。

例如,就我而言,如果您给我留下您的电子邮件,您就可以获得一个免费的博客课程,该课程是我专门为所有想要给我留下电子邮件地址的博客读者创建的。

一旦用户输入姓名和电子邮件,这些数据最终会进入特定的电子邮件营销软件(例如,我使用GetResponse ),从我自己为联系人创建的路径开始(行话中称为漏斗)。

创建邮件列表
回顾一下:

读者进入我的博客并以 optin 形式留下他的电子邮件
数据被发送到电子邮件营销软件
自动地,新联系人(称为“潜在客户”)会收到向他承诺的内容,例如免费的博客课程
从现在开始,我可以与该读者保持联系,与他建立关系,通知他新发表的文章,向他展示我的产品等等。
因此,我收集的所有电子邮件都是我的邮件列表或联系人列表的一部分,这是博主可以使用的最强大的工具之一,可以用来发展他的在线项目并能够将其货币化。

但为什么这个邮件列表对于博客的成功如此重要?我马上给你解释。

为什么拥有博客后拥有电子邮件列表如此重要
新手博主所犯的一个错误正是低估了联系人列表的创建以及随后的所有电子邮件营销。

这就是为什么他们发现自己写了一篇又一篇文章,运用所有最好的策略来获得新的流量,然后在几个月后意识到他们没有通过博客赚到一分钱。

我想你可以理解这是多么令人沮丧。

但解决方案通常非常简单:这些博主没有电子邮件列表。或者充其量,他们有一个未优化且非转化导向的邮件列表。

那么为什么这个邮件列表如此重要呢?它有何作用?

让我们举一个实际的例子。

假设一个人在 Google 中输入搜索键(称为查询),例如“如何创建博客策略”。

在第一个结果中,他找到了我关于如何创建博客策略的文章,他点击并阅读了它。

现在有两个选择:

[场景 1]他获得了所需的所有信息,也许他还没有准备好买东西,然后关闭文章,再见。也许那个人过一会儿就会忘记我们的博客,再也不会回来。因此我们失去了一个联系人、一个读者和一个潜在的销售机会。
[场景 2]他获得了他需要的所有信息,但给我们留下了他的电子邮件。这样我们就可以与他保持联系,邀请他再次访问我们的博客,并有可能推动他从我们这里购买东西,也许在未来。在这里,访客已转变为联系人、我们博客的常客和潜在客户。
因此,现在应该清楚什么是邮件列表、它如何工作以及最重要的是为什么它如此重要。那么我们现在该怎么办?

很简单:让我们看看如何创建有效的邮件列表。让我们继续吧!

如何创建有效的邮件列表
您应该知道,构建电子邮件列表和构建有效的电子邮件列表之间存在巨大差异。

事实上,创建一个简单的电子邮件列表并将其留在软件中积灰并不是与联系人建立关系的最有效的解决方案。相反,您必须照顾向您提供电子邮件的人,赢得他们的信任,为他们提供“更多的东西”而不仅仅是路过的访客。

以及如何做到这一切?您今天可以实施多种技术和策略。让我们一起看看最重要的,那些能够在最短的时间内带来最好结果的。

1. 尽快建立您的电子邮件列表
最好的办法是从零天开始建立一个联系人列表,即从我们的网站实际上线的那一天开始。

如果您已经拥有一个在线网站多年但从未开始建立邮件列表怎么办?在这种情况下,不要惊慌:开始永远不会太晚。

因此,如果您尚未收集访问者的电子邮件,请立即收集。下面我也来讲解一下如何做。

然而,如果您已经收集了它们,但尚未获得您想要的结果,那么请继续阅读,制定有效的电子邮件营销策略,并将您现在发现的所有这些技巧付诸实践。

您会发现您的电子邮件营销活动将再次大放异彩!

2. 选择最适合您企业的电子邮件营销软件
我告诉你一个小秘密:如果你想参加一级方程式比赛,你不能用熊猫来做。

我知道,熊猫更舒服,成本也低得多,但它适合在城里兜风,而不是和比你更大更强的企业竞争。

所以如果你正在使用一只熊猫如果电子邮件营销工具并不出色,那么我强烈建议您投资一个更好的工具。

您的博客预算有限吗?好吧,我明白了。然后尝试削减其他方面的成本,但绝对不要削减电子邮件营销软件的成本。想一想:使用成本 1 为你赚取 3 的乐器,还是使用成本 100 为你赚取 10,000 的乐器更好?

博主警告…

好的,经过这个必要的介绍,让我们回到我们的主题。最好的电子邮件营销工具是什么?以及如何选择最好的呢?

事实是,没有绝对的最佳工具,只有与您的业务和目标相关的最佳工具。

事实上,每种工具都有不同的功能和不同的价格范围,选择最好的工具意味着分析和了解您的需求,并找到最符合您需求的软件。

一般来说,最好的电子邮件营销软件是:

ActiveCampaign,一款出色的电子邮件营销工具,提供许多不同的功能和价格范围
GetResponse ,我用它来与我的订阅者保持联系。该工具的旗舰无疑是通过人工智能创建网络研讨会和营销活动的可能性
Aweber也是一个非常有效的电子邮件营销工具,具有实惠的价格和先进的功能。
另外两个比有效的替代方案是Brevo和Drip,它们都有与所提供的功能相关的有趣的付款计划。
所有这些工具都提供免费试用。因此,尝试使用其中的几个,看看哪种工具最适合您的项目。

3. 确定你的受众
如果您想创建一个成功的邮件列表,您必须始终牢记的另一个方面是深入了解您的受众。

永远记住:邮件列表不仅仅是电子邮件列表。相反,他们是人,有自己的需要、欲望和兴趣。

深入了解这些人意味着能够与他们建立稳定和持久的关系,使用更有效和更具吸引力的沟通方式,并发送更适合您的受众、更有用和更注重转化的电子邮件营销活动。

那么我们如何了解我们实际上在和谁说话呢?以下是您应该始终牢记的一些问题:

[传记]谁是您的理想客户?他几岁了?他住在哪里?您的教育程度是多少?他做什么工作?
[目标]你有什么问题?你的恐惧是什么?他的兴趣?他的愿望?是什么促使他采取行动?是什么阻止了他?
[关系]你可以如何帮助这个人?最好使用什么类型的通信?您更喜欢对话式沟通还是正式沟通?您更喜欢文字、图片、视频吗?
通过简单地回答这些简单的问题,您的邮件列表 – 以及您的电子邮件营销活动 – 将变得更加有效。

4. 制作引人入胜的铅磁铁
在分析许多项目时,我意识到在尝试创建邮件列表时经常会犯两个严重错误:

您不会提供任何东西作为电子邮件的回报,并期望人们只是为了注册而注册
您提供的资源对我们的受众来说不够有趣。举个例子?我们有一个瑜伽博客,作为您发送电子邮件的交换,我们提供有关如何保持家居整洁的免费资源。这意味着我们不够了解我们的读者。
我能给你的最好建议是创建不同的资源(称为铅磁铁)来测试哪个实际上是最有效的,即哪个对我们的读者来说是最有趣的,因此具有更高的转化率。

但是我们可以为读者提供什么类型的铅磁铁呢?任何你想要的。

以下是一些想法:

一本电子书
清单
网络研讨会
优惠券或折扣
一个视频(或一系列视频)
访问论坛、群组或受限社区
…等等!
请记住,要充分利用铅磁铁,它必须始终与您销售的产品或服务相关。

让我们举个例子。

你们卖割草机吗?一块好的铅磁铁可以成为选择最好的割草机的指南、如何正确割草的视频或购买新割草机的折扣券。

5. 在您的博客上添加选择表单
一旦您选择了电子邮件营销软件并为您的受众创建了最佳的磁铁,就可以收集电子邮件以换取免费资源了。

以及如何做呢?

正如我们提到的,最好的方法是创建选择性表单以插入到我们的网站上。

有多种方法可以创建它们。您在我的博客上看到的内容,例如在我的主页上或在我的文章中,都是使用Elementor创建的。

选择表格主页
但是,您也可以直接从您使用的电子邮件营销工具创建选择表单,然后在您的网站上实施它们。

插入选择表单的最佳位置是:

在主页上,在首屏上方,即在页面空间中无需滚动即可立即可见
在侧边栏中,如果您的网站提供了一个
在文章内,最好在文本之后的顶部或末尾。
您还可以让您的页面“干净”,不使用 optin 表单,而是选择一个文本链接,将您带到optin 页面,即专门为 optin 设计的页面。我也有一个:如果你想用它作为灵感,你可以在这个链接找到它。

滚动至顶部