网路爬虫与舆情分析解决方案

企硕一  谢孟婷

在网路科技发达时代的引领之下，许多事情已经不再可以使用传统的思想或理念来解决了，例如论坛讲座中提到的行销，在行销学中，不断演进了许多版本，不变的是要知道并理解自己的竞争对手，都在做什么？要熟悉目标受众所想要的需求是什么？但不一样的是，许多的事情都会借由网路，展开一连串爆发性的发展，因此，要懂得善用分析、理解数据才能让这个爆发性的发展从危机变为转机。

这次论坛才让我知道，原来许多我们看到的社团或论坛，像是PTT、Dcard等等，都有可能是我们可以做行销分析，或者进行资料搜集的参考选项，尤其像是年轻人的喜好或流行的事情，确实是我们可以从这些论坛上面得知的，如此一来，我们或许也能比其他人更早或更及时的掌握议题趋势。

在这个网路迅速发展的时代，不论在网路发声管道使用的普及率，或是议题的多元性都像是爆炸性的发展一般，有时候睡一觉甚至是吃一顿饭，社会就又蹦出一个新议题了，大概可以说这些资讯一直都在进行快速的滚动，所以能够透过自动化的资料搜集，并进行整理与分类，一定可以更快速的适应这个变化快速的新世代。

我觉得爬虫技术之所以如此的吸引人，除本身的功用之外，还有在于它所能带来的成本不高，因此我们不需要再像是以前一样，如果想要建置一个比价网站的话，我们可能要先接触到网站的窗口，去洽谈彼此的合作，讨论如何进行两方之间的利益交换，以及商业模式的运作方式，然后再派技术人员进行相关作业的开发、测试与上架。如今有了网路爬虫技术之后，我们就不需要再走上述那些繁杂琐碎的过程，只要订好公司所需的资料规格、抓取机制与储存环境就可以来进行爬虫技术的搜集了。而且爬虫技术它能够有种像是把别人的资料库都变成我的资料库的感觉，所以对于行销人员，或是很多需要资料统整、资料分析的领域来说，确实是满重要的一项工具。

叶珈妮 企三丙

首先很谢谢这次有这样一个论坛演讲，让我获益良多，在这三场演讲里面我 最为印象深刻的是最后一篇，一开始介绍要如何在这样一个倚靠著大数据生存 的产业链，因为科技发达的今日许多产业都离不开网路行销，再加上疫情的关系许多消费者比起实体购物，线上购物更为方便，而厂商店家都必须跟上这波潮流以免被其他竞争者超过。讲者有提到说要赢得消费者的注目，首先要知道自己的竞争者在做什么，当你不晓得你的竞争对手在进行什么样的行销活动时，自然会被超过。

讲者有举一个例子，Gogoro跟光阳，大家都知道 Gogoro的月租费并不便宜，而光阳就是看准这一点将月租费降很低然后将Gogoro那边的客户抢过来，很明显的光阳的做法就透过降低消费者对于月租费的外显成本，这样的做法确实让许多消费者进而选择光阳作为购买电动机车得选项。讲者还说拥有对手的情报是政府和企业的关键竞争力之一，因为现在都是倚靠大数据，还有网路来作为企业搜集情报以及看顾客的评价，这种方式的企业经营型态已是多数，传统那种靠问卷以及大版面的广告已经没办法满足现在的企业需求。在资管课程里面所学习到的像是Python、AI 这些东西都是未来可以用到的工具，不管是进行客群上面的统计还是说客人的评价搜集都是可以用到的，所以上课的时候都会努力去学，这样以后找工作会比较容易上手。

这次的论坛讲师 都分享了很贴近生活的举例，因为现在大三了再过不了多久就要就业了，这次的论坛分享让我学习到现在的企业都是如何竞争的，以及用什么样的对策才可以增加产品对消费者的关注。另外我自己也想学习如何做网页，虽然知道自己在跑程式上面比较吃力，因为不太擅长理科，所以希望多学程式相关的东西，在资讯发达的时代下，不会跑两个程式的话太吃亏了。希望以后还有这样的论坛分享会，真的学习到很多，因为大学常常学习到的东西都比较偏向理论，而实务上的东西却很难接触到，所以在论坛会上面所吸收到的知识都比较实务。真的是获益良多，谢谢老师给这个机会参与这次的论坛！让身为一个准备要步入社会的大三生能够吸收到一些实务上的经验分享。

企三丙  罗品淇

舆情分析，也就是另类的市场调查。

现在社群媒体无所不在，像是FB、论坛可用它来跟其他人分享一些自己的想法或是消息。这个发言权的角度，也就转换到使用者的身上，每个人都可以抒发自己的看法。很多企业跟组织也意识到这个社群媒体蓬勃现象，也把一些社群媒体导入到企业跟组织内，对外，建立官网外，也经营脸书的粉丝团之类的，做成一个窗口跟客户，做直接近距离的意见交流；对内，对企业在做内部控管有很大的帮助，举例而言，像是我们知道说很多组织，它可能会使用即时通讯软体，来针对内部的一些资讯的一些交流。

举两个研究例子，分别是2012年由Chen，还有2013年由Lim这两位学者，他们分别在MSQ跟ACM的TMS里头发表一些对于所谓社群媒体之商业智慧，如何改善企业跟组织的一些营运，或者能够让他们能够更有效的利用这个社群媒体来进行一些服务。假如说一个社群网路不断推荐合适的，使用者自然而然就会黏在这个社群网路上，进而贡献他的想法跟一些观点。Social Recommendation是不是能够推荐一些合乎使用者，社群网路使用者的一些他们喜欢的东西。一旦你让这个社群网路使用者留在这个社群网路之下，你自然而然就可以累积到相对的一些资料。

舆情分析，也可以善加利用群落侦测，所谓群落侦测，它主要就是说我是不是能够在这个社群媒体里，去把使用者分成一群一群高度相关的使用者，那可以根据这些不同观点的族群给合适的一些服务或是一些建议。大量的资料里头去赶快找到合适的资讯，针对这些资讯去了解现在的使用者或是一些群众的一些想法或看法。舆情分析还有值得探讨的议题，就是在这些群落当中是否存在著意见领袖？他们可能是网红、社群媒体上拥有广大追踪者的公众人物，对大众的意见拥有举足轻重的影响力。

现在这些热络的媒体，很多人上去发表他们自己的意见跟看法，那这么多的声音我们应该，有没有办法去找出一个比较合适的具代表性的意见领袖呢？在1998年，有两篇paper出现，都是专门针对这个议题。有一篇，这个作者他现在已经是超级富翁了，就是 Brin跟Page，也就是Google的创办人之一。他们提出了一个所谓的PageRank演算法，用这个方法分析网路连结结构，来找出网路里头重要的点，当然它主要的网路就是网页上的这些连结的情况。

另一篇，他是在康奈尔大学Kleinberg教授，他也是用相似的想法去分析这个网路里头连结的情况，来找出网路重要的点。那这两篇研究呢，它当初的分析的对象其实都是要来分析网页，透过你是不是有个知道另外一个网页，那透过这一个网页的这个连结情况去找出重要的网页，后续也被应用到不同的领域，可以来找到一个重要的使用者。