-
Notifications
You must be signed in to change notification settings - Fork 0
/
5__Análise 2 (pós redes).py
1515 lines (1132 loc) · 63.2 KB
/
5__Análise 2 (pós redes).py
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
601
602
603
604
605
606
607
608
609
610
611
612
613
614
615
616
617
618
619
620
621
622
623
624
625
626
627
628
629
630
631
632
633
634
635
636
637
638
639
640
641
642
643
644
645
646
647
648
649
650
651
652
653
654
655
656
657
658
659
660
661
662
663
664
665
666
667
668
669
670
671
672
673
674
675
676
677
678
679
680
681
682
683
684
685
686
687
688
689
690
691
692
693
694
695
696
697
698
699
700
701
702
703
704
705
706
707
708
709
710
711
712
713
714
715
716
717
718
719
720
721
722
723
724
725
726
727
728
729
730
731
732
733
734
735
736
737
738
739
740
741
742
743
744
745
746
747
748
749
750
751
752
753
754
755
756
757
758
759
760
761
762
763
764
765
766
767
768
769
770
771
772
773
774
775
776
777
778
779
780
781
782
783
784
785
786
787
788
789
790
791
792
793
794
795
796
797
798
799
800
801
802
803
804
805
806
807
808
809
810
811
812
813
814
815
816
817
818
819
820
821
822
823
824
825
826
827
828
829
830
831
832
833
834
835
836
837
838
839
840
841
842
843
844
845
846
847
848
849
850
851
852
853
854
855
856
857
858
859
860
861
862
863
864
865
866
867
868
869
870
871
872
873
874
875
876
877
878
879
880
881
882
883
884
885
886
887
888
889
890
891
892
893
894
895
896
897
898
899
900
901
902
903
904
905
906
907
908
909
910
911
912
913
914
915
916
917
918
919
920
921
922
923
924
925
926
927
928
929
930
931
932
933
934
935
936
937
938
939
940
941
942
943
944
945
946
947
948
949
950
951
952
953
954
955
956
957
958
959
960
961
962
963
964
965
966
967
968
969
970
971
972
973
974
975
976
977
978
979
980
981
982
983
984
985
986
987
988
989
990
991
992
993
994
995
996
997
998
999
1000
# **********************************************************************************************************************
# Olá!
#
# Esses códigos foram desenvolvidos para o meu trabalho de conclusão de curso do MBA em marketing digital pelo UniCEUB.
# Não sou desenvolvedor, o código não está otimizado e tem muitos problemas. Mas é funcional e atende ao propósito muito bem.
# Esse programa processa o produto da análise de redes para extrair informações sobre o comportamento dos grupos.
# É similar à primeira análise, mas com mais informações e análise de alguns aspectos dos senadores também.
# **********************************************************************************************************************
import pandas as pd
import seaborn as sns
from datetime import datetime
import matplotlib.pyplot as plt
import urllib.request
import os
import shutil
import unidecode
# ----------------------------------------------------------------------------------------------------- VARIÁVEIS CHAVE
# Define quantidade de usuários que serão selecionados do topo das listas por mais engajamento e mais
# volume de publicações
quantidade_top_lista = 10
# Define quantos tweets serão selecionados nas listas dos que mais engajaram
quantidade_top_tweets = 10
# Define quantos tweets serão selecionados nas listas dos que mais engajaram
quantidade_top_tweets_interesse = 5
# Gerar corpus geral ao fazer a análise?
gerando_corpus = False
# Gerar corpus unificado ao fazer a análise?
gerando_corpus_unificado = False
# Ajuda a definir escopo do tempo, pode ser modificado pelo txt de parâmetros
analisando_tudo = True
# Fazer análise de tema de interesse?
analisando_tema_interesse = False
# Pegar imagens postadas pelos perfis?
coletando_imagens = False
# Gerar imagem das publicações por dia?
gera_imagem_por_dia = False
lista_links_top_interesse = ''
# -------------------------------------------------------------------------------------------------------------FUNÇÕES
# Salva lista de top usuários por engajamento
def salva_top_usuarios(dados, tema_n):
dados.to_csv('resultados/análises 2/{}/TopUsuáriosEngajamento.csv'.format(tema_n), index=False)
# Salva tweets dos top usuários por engajamento
def salva_tweets_usuarios_engaj(dados, tema_n):
dados.to_csv('resultados/análises 2/{}/TopUsuáriosEngajamentoTweets.csv'.format(tema_n), index=False)
# Salva lista de top usuários por volume
def salva_top_usuarios_vol(dados, tema_n):
dados.to_csv('resultados/análises 2/{}/TopUsuáriosVolume.csv'.format(tema_n), index=False)
# Salva tweets dos top usuários por engajamento
def salva_tweets_usuarios_vol(dados, tema_n):
dados.to_csv('resultados/análises 2/{}/TopUsuáriosVolumeTweets.csv'.format(tema_n), index=False)
# Salva volume de tweets por dia
def salva_tweets_por_dia(dados, tema_n):
dados.to_csv('resultados/análises 2/{}/TweetsPorDia.csv'.format(tema_n), index=False)
# Salva figura do volume de tweets por dia
def salva_tweets_por_dia_figura(fig, tema_n):
fig.figure.savefig('resultados/análises 2/{}/TweetsPorDia.png'.format(tema_n), index=False)
# Salva df com todos tweets do tema
def salva_tweets_por_perfil(dados, tema_n):
dados.to_csv('resultados/análises 2/{}/TweetsNoTema.csv'.format(tema_n), index=False)
# Abre arquivo do corpus
def abre_corpus(tema_n):
arquivo_corpus = open('resultados/análises 2/{}/análise_de_texto/CorpusTudo.txt'.format(tema_n), 'w',
encoding='utf-8')
return arquivo_corpus
# Abre arquivo do corpus do tema de interesse
def abre_corpus_interesse(tema_n):
arquivo_corpus = open('resultados/análises 2/{}/análise_de_texto/CorpusInteresse.txt'.format(tema_n),
'w', encoding='utf-8')
return arquivo_corpus
# Abre arquivo do corpus unificado
def abre_corpus_unificado():
arquivo_corpus = open('resultados/análises 2/CorpusUnificado.txt', 'w', encoding='utf-8')
return arquivo_corpus
# Abre arquivo do corpus sem RT
def abre_corpus_unificado_srt():
arquivo_corpus = open('resultados/análises 2/CorpusUnificadoSemRT.txt', 'w', encoding='utf-8')
return arquivo_corpus
# Abre arquivo do corpus unificado sobre tema de interesse
def abre_corpus_unificado_interesse():
arquivo_corpus = open('resultados/análises 2/CorpusUnificadoTemaDeInteresse.txt', 'w', encoding='utf-8')
return arquivo_corpus
# Abre arquivo do corpus unificado sobre tema de interesse com links
def abre_corpus_unificado_interesse_links(tema):
arquivo_corpus = open('resultados/análises 2/{} - texto e links.txt'.format(tema), 'w', encoding='utf-8')
return arquivo_corpus
# Abre arquivo do corpus sem RT
def abre_corpus_srt(tema_n):
arquivo_corpus = open('resultados/análises 2/{}/análise_de_texto/CorpusSemRT.txt'.format(tema_n), 'w',
encoding='utf-8')
return arquivo_corpus
# Abre arquivo do relatório
def abre_relatorio(tema_n):
arquivo_relatorio = open('resultados/análises 2/{}/Relatório.txt'.format(tema_n), 'w', encoding='utf-8')
return arquivo_relatorio
# Abre arquivo com links pros tweets com o tema de interesse
def abre_arquivo_links_interesse(tema_n):
arquivo_links = open('resultados/análises 2/{}/Links.txt'.format(tema_n),
'w', encoding='utf-8')
return arquivo_links
# Salva df com hashtags e contagem de vezes que aparece
def salva_hashtags_contagem(dados, tema_n):
dados.to_csv('resultados/análises 2/{}/HashtagsContagem.csv'.format(tema_n), index=False)
# Salva df com hashtags e contagem de vezes que aparece
def salva_mentions_contagem(dados, tema_n):
dados.to_csv('resultados/análises 2/{}/MentionsContagem.csv'.format(tema_n), index=False)
# Salva df com replys e contagem de vezes que aparece
def salva_replys_contagem(dados, tema_n):
dados.to_csv('resultados/análises 2/{}/ReplysContagem.csv'.format(tema_n), index=False)
# Salva df com tipo de mídia e contagem de vezes que aparece
def salva_media_contagem(dados, tema_n):
dados.to_csv('resultados/análises 2/{}/MídiaContagem.csv'.format(tema_n), index=False)
# ---------------------------------------------------------------------------------------------------INÍCIO
# Marca tempo inicial
t_inicial = datetime.now()
# Cria colunas do data frame de comparação
comp_id = []
comp_tema = []
comp_perfil = []
comp_url = []
comp_seguidores = []
comp_tweets = []
comp_tweets_srt = []
comp_tweets_dia_media_srt = []
comp_rts_percentual = []
comp_replys_percentual = []
comp_engajamento_medio = []
comp_engajamento_desvpad = []
comp_truncados_tx = []
comp_truncados_tx_srt = []
comp_top_hashtags = []
comp_top_mentions = []
comp_top_replys = []
comp_imagens = []
if analisando_tema_interesse:
comp_tweets_tema = []
comp_engajamento_tema = []
comp_engajamento_percentual_do_geral = []
comp_engajamento_tema_desvpad = []
# Cria data frame de hashtags geral
total_hashtags = pd.DataFrame()
# Cria data frame de mentions geral
total_mentions = pd.DataFrame()
# Cria data frame de replys geral
total_replys = pd.DataFrame()
# Cria diretório geral dos resultados
if os.path.isdir('resultados/análises 2'):
shutil.rmtree('resultados/análises 2')
os.makedirs('resultados/análises 2')
# Cria lista de temas
arquivo_de_palavras_chave = open('AnalisarTemas.txt')
lista_temas = []
for linha in arquivo_de_palavras_chave:
lista_temas.append(linha)
# Cria pasta por dia e apstas numeradas para cada perfil analisado
os.makedirs('resultados/análises 2/por dia')
loop_cria_pastas = 0
for tema in lista_temas:
loop_cria_pastas += 1
os.makedirs('resultados/análises 2/{}'.format(loop_cria_pastas))
os.makedirs('resultados/análises 2/{}/análise_de_texto'.format(loop_cria_pastas))
os.makedirs('resultados/análises 2/{}/imagens'.format(loop_cria_pastas))
os.makedirs('resultados/análises 2/{}/hashtags'.format(loop_cria_pastas))
os.makedirs('resultados/análises 2/{}/mentions'.format(loop_cria_pastas))
os.makedirs('resultados/análises 2/{}/mentions/senadores'.format(loop_cria_pastas))
os.makedirs('resultados/análises 2/{}/replys'.format(loop_cria_pastas))
os.makedirs('resultados/análises 2/{}/datas'.format(loop_cria_pastas))
os.makedirs('resultados/análises 2/{}/top100'.format(loop_cria_pastas))
arquivo_de_palavras_chave.close()
print('Temas: {}'.format(lista_temas))
# Importa dados coletados
dados = pd.read_csv('dados/prev e prevsen_comunidades_para análise 2.csv')
senadores = pd.read_csv('dados/senadores_votos_previdência.csv')
senadores['Falou sobre previdência 58d'] = 0
senadores['Tweets sobre previdência 58d'] = 0
senadores['Entrou no tema previdênica 58d'] = 'Na'
# Lê arquivo com parâmetros de análise e define variáveis
arquivo_de_parametros = open('ParâmetrosDeAnálise.txt')
parametros_linhas = []
for linha in arquivo_de_parametros:
parametros_linhas.append(linha)
parametros = []
print('\n -----------------\nParâmetros\n')
for linha in parametros_linhas[14:26]:
parametro = linha.split('=')[1]
parametro = parametro[1:].strip('\n')
parametros.append(parametro)
# Define variáveis de data
data_inicio_str = parametros[0]
data_fim_str = parametros[1]
if data_inicio_str == 'Tudo':
analisando_tudo = True
print('Data:\n analisando todo o escopo disponível\n')
else:
data_is = data_inicio_str.split('/')
data_fs = data_fim_str.split('/')
data_inicio = datetime(int(data_is[2]), int(data_is[1]), int(data_is[0])).strftime('%Y-%m-%d')
data_fim = datetime(int(data_fs[2]), int(data_fs[1]), int(data_fs[0])).strftime('%Y-%m-%d')
print('Data:\nde {} a {}\n'.format(data_inicio, data_fim))
if analisando_tema_interesse:
# Define variáveis de termos analisados
tema_de_interesse = parametros[2]
palavras_de_interesse = parametros[3].split(',')
else:
tema_de_interesse = 'NENHUM'
palavras_de_interesse = 'NENHUMA'
print('\nTema de interesse: {}'.format(tema_de_interesse))
print('Palavras-chave de interesse: {}\n'.format(palavras_de_interesse))
# -----------------------------------------------------------------------------------------------MANIPULA DF
# Cria df sem retweets
dados_srt = dados[dados['Retwitado invert']]
# Faz análises e exporta bases processadas para cada tema
tema_n = 0
# Abre arquivo do índice de temas
indice_temas = open('resultados/análises 2/ÍndiceTemas.txt', 'w')
# filtra df pelo tema de interesse
possui_termo_g = dados['Texto'].apply(lambda tweet:
any(palavra.lower() in tweet.lower()
for palavra in palavras_de_interesse))
dados_interesse_g = dados[possui_termo_g]
# Abre corpus unificado
if gerando_corpus_unificado:
arquivo_corpus_unificado = abre_corpus_unificado()
arquivo_corpus_unificado_srt = abre_corpus_unificado_srt()
arquivo_corpus_unificado_interesse = abre_corpus_unificado_interesse()
arquivo_corpus_unificado_interesse_links = abre_corpus_unificado_interesse_links(tema_de_interesse)
corpus_unificado = ''
corpus_unificado_srt = ''
corpus_unificado_interesse = ''
# Anotações no relatório da análise
corpus_unificado_interesse_links = 'Texto e links dos tuítes sobre {}\n\n'.format(tema_de_interesse)
corpus_unificado_interesse_links = corpus_unificado_interesse_links + 'Palavras-chave:\n\n'
for palavra in palavras_de_interesse:
corpus_unificado_interesse_links = corpus_unificado_interesse_links + '- {}\n'.format(palavra)
corpus_unificado_interesse_links = corpus_unificado_interesse_links + '\nTemas analisados:\n\n'
for usuario in lista_temas[0:-1]:
corpus_unificado_interesse_links = corpus_unificado_interesse_links + '- {}\n'.format(usuario.strip('\n'))
corpus_unificado_interesse_links = corpus_unificado_interesse_links + '\nTexto e links:\n'
# cria df por dia unificado
por_dia_unificado_interesse = pd.DataFrame()
# -----------------------------------------------------------------------------------------------COMEÇA O LOOP POR TEMA
for tema in lista_temas:
tema_n += 1
tema = tema.strip('\n')
nao_publicou = False
t_inicial_tema = datetime.now()
if gerando_corpus_unificado:
corpus_unificado = corpus_unificado + '\n\n\n**** *{}\n\n'.format(tema)
corpus_unificado_srt = corpus_unificado_srt + '\n\n\n**** *{}\n\n'.format(tema)
corpus_unificado_interesse = corpus_unificado_interesse + '\n\n\n**** *{}\n\n'.format(tema)
# Filtra tema/perfil
dados_tema = dados[dados['Tema'] == tema]
dados_tema_srt = dados_srt[dados_srt['Tema'] == tema]
print('--------------Grupo analisado {}: *{}*'.format(tema_n, tema))
# O que acontece se não tem publicações no período selecionado
if dados_tema.shape[0] == 0:
print('Nenhuma publicação no período')
arquivo_nao_publicou = open('resultados/análises 2/{}/Nenhuma publicação no período.txt'.format(tema_n), 'w')
arquivo_nao_publicou.write('Nenhuma publicação no período.\nNão há dados para analisar')
indice_temas.write('Tema {} - {} - Nenhuma publicação no período\n\n'.format(tema_n, tema.strip('\n')))
continue
engajamento_medio = dados_tema_srt['Engajamento'].mean()
desvio_padrao_engajamento = dados_tema_srt['Engajamento'].std()
# Calcula taxa de truncados
truncados = dados_tema[dados_tema['Truncado']]
# Calcula taxa apenas se há truncados
if dados_tema.shape[0] > 0:
taxa_de_truncados = truncados.shape[0] / dados_tema.shape[0] * 100
else:
taxa_de_truncados = 0
truncados_srt = dados_tema_srt[dados_tema_srt['Truncado']]
# Calcula taxa apenas se há truncados
if dados_tema_srt.shape[0] > 0:
taxa_de_truncados_srt = truncados_srt.shape[0] / dados_tema_srt.shape[0] * 100
else:
taxa_de_truncados_srt = 0
# Conta RTs
quantidade_rts = dados_tema.shape[0] - dados_tema_srt.shape[0]
# Calcula taxa só se houver tuítes sobre o tema
if dados_tema.shape[0] > 0:
taxa_rts = quantidade_rts / dados_tema.shape[0]
else:
taxa_rts = 0
# Conta replys
quantidade_replys = dados_tema[pd.notna(dados_tema['Reply'])].shape[0]
# Calcula taxa só se houver tuítes sobre o tema
if dados_tema.shape[0] > 0:
taxa_replys = quantidade_replys / dados_tema.shape[0]
else:
taxa_replys = 0
# -------------------------------------------------------------------------------------------COLETA IMAGENS
if coletando_imagens:
imagens_coletadas = 0
lista_imagens = []
metadados_imagens = pd.DataFrame(columns=['Imagem', 'Usuário', 'Data', 'Hora', 'RT', 'Interesse'])
for index, tweet in dados_tema.iterrows():
if 'photo' in tweet['Mídia']:
try:
imagens_coletadas += 1
lista_imagens.append(imagens_coletadas)
imagem_rt = not tweet['Retwitado invert']
imagem_interesse = tweet['UrlTema'] in dados_tema['UrlTema']
url_imagem = tweet['Mídia Url'].strip('[').strip(']').strip("'")
nome_imagem = 'resultados/análises 2/{}/imagens/{}.jpg'.format(tema_n, imagens_coletadas)
urllib.request.urlretrieve(url_imagem, nome_imagem)
t_metadados_imagens = pd.DataFrame([[int(imagens_coletadas), tweet['Usuário'],
tweet['Data'], tweet['Hora'], imagem_rt,
imagem_interesse]],
columns=['Imagem', 'Usuário', 'Data', 'Hora', 'RT', 'Interesse'])
metadados_imagens = pd.concat([metadados_imagens, t_metadados_imagens], ignore_index=True)
except Exception as erro:
print('Tentei jpg salvar mas não deu\n')
print(erro)
print('\n\n')
else:
lista_imagens.append('-')
print('Ao todo salvei: {} imagens'.format(imagens_coletadas))
dados_tema['Imagem_ID'] = lista_imagens
metadados_imagens.to_csv('resultados/análises 2/{}/imagens/MetadadosImagens.csv'.format(tema_n), index=False)
print('------------imagem ID {}'.format(dados_tema['Imagem_ID']))
salva_tweets_por_perfil(dados_tema, tema_n)
# Ajusta datas para efeito de anotação correta depois
data_inicio = dados_tema['DataPyt'].min()
data_fim = dados_tema['DataPyt'].max()
print(len(dados_tema['Seguidores']))
# Cria str para inserir lista de links depois
lista_links = ''
# ---------------------------------------------------------------------------------------------------ENGAJAMENTO
# Pega usuários com mais engajamento
top_usuarios_engaj = dados_tema_srt.filter(['Usuário', 'Engajamento'], axis=1).groupby('Usuário',
as_index=False).sum().sort_values(
by='Engajamento', ascending=False)
top_usuarios_engaj = top_usuarios_engaj.head(quantidade_top_lista)
salva_top_usuarios(top_usuarios_engaj, tema_n)
# Cria df apenas com tweets de usuários na lista com mais engajamento
tweets_usarios_engaj = pd.DataFrame()
for usuario in top_usuarios_engaj['Usuário']:
is_usuario = dados_tema_srt['Usuário'] == usuario
tweets_usuario = dados_tema_srt[is_usuario]
tweets_usarios_engaj = pd.concat([tweets_usarios_engaj, tweets_usuario], ignore_index=True)
# Salva csv dos tweets dos usuários com mais engajamento no período, tirando algumas colunas inúteis
salva_tweets_usuarios_engaj(tweets_usarios_engaj, tema_n)
# ---------------------------------------------------------------------------------------------------VOLUME
# Pega usuários que mais publicaram
top_usuarios_vol = dados_tema_srt['Usuário'].value_counts(ascending=False)
top_usuarios_vol = top_usuarios_vol.rename_axis('Usuário').reset_index(name='Volume')
top_usuarios_vol = top_usuarios_vol.head(quantidade_top_lista)
salva_top_usuarios_vol(top_usuarios_vol, tema_n)
# Cria df apenas com tweets de usuários na lista com mais volume
tweets_usarios_vol = pd.DataFrame()
for usuario in top_usuarios_vol['Usuário']:
is_usuario = dados_tema_srt['Usuário'] == usuario
tweets_usuario = dados_tema_srt[is_usuario]
tweets_usarios_vol = pd.concat([tweets_usarios_vol, tweets_usuario], ignore_index=True)
salva_tweets_usuarios_vol(tweets_usarios_vol, tema_n)
# -------------------------------------------------------------------------------------------------POR DIA 1
# Publicações por dia com rt
por_dia = dados_tema.sort_values('DataPyt').filter(items=['DataPyt', 'Url']).groupby('DataPyt', as_index=False) \
.count()
por_dia.rename(columns={'DataPyt':'Data', 'Url':'Publicações'}, inplace=True)
# Publicações por dia sem rt
# Cria df com as quantidades por dia
por_dia_srt = pd.DataFrame(columns=['Data', 'Frequência'])
por_dia_srt['Data'] = dados_tema['DataPyt']
por_dia_srt['Frequência'] = dados_tema['Retwitado invert']
por_dia_srt = por_dia_srt.groupby(by='Data', as_index=False).sum()
# Acrescenta no df por dia a versão em int (sem isso tava indo str)
por_dia['Publicações (sem RT)'] = por_dia_srt['Frequência'].apply(lambda x: int(x))
# Calcula número médio de publicações por dia
tweets_dia_media = round(dados_tema_srt.shape[0] / por_dia.shape[0], 2)
# -------------------------------------------------------------------------------------------------POR DIA GRÁFICO
if gera_imagem_por_dia:
# Gráfico de tweets ao longo do tempo (por dia)
sns.set_style('darkgrid')
plt.figure(figsize=(10, 5))
por_dia_fig = sns.lineplot(x='Data', y='Publicações', data=por_dia)
por_dia_fig = sns.lineplot(x='Data', y='Publicações (sem RT)', data=por_dia)
# Ajusta legenda
plt.legend(['Publicações', 'Sem RT'])
# Ajusta labels
por_dia_fig.set_xticklabels(labels=por_dia_fig.get_xticklabels(), rotation=45, horizontalalignment='right')
# Salva imagem e CSV
salva_tweets_por_dia_figura(por_dia_fig, tema_n)
print('\n*****FIGURA OK*****\n')
# Limpa figura
plt.clf()
# ------------------------------------------------------------------------------------------------------DATAS
print('-*/-*/-*/DATAS-*/-*/-*/')
for data_ok in dados_tema['DataPyt'].unique():
dados_data = dados_tema[dados_tema['DataPyt'] == data_ok].sort_values(by='Engajamento', ascending=False)
rel_data = 'PRINCIPAIS TWEETS EM {}\n\n'.format(data_ok)
conta_t_data = 0
for index, tweet in dados_data.head(20).iterrows():
conta_t_data += 1
rel_data = rel_data + '{}\n' \
'{} em {} às {}\n' \
'{}\n' \
'{}\n' \
'{} Curtidas | {} Retweets\n' \
'\n\n'.format(
conta_t_data,
tweet['Usuário'],
tweet['Data'],
tweet['Hora'],
tweet['Url'],
tweet['Texto'],
tweet['Curtidas'],
tweet['Retweets']
)
dados_data = dados_tema_srt[dados_tema_srt['DataPyt'] == data_ok].sort_values(by='Engajamento', ascending=False)
rel_data = rel_data + '-*/-*/-*/-*/-*/-*/-*/-*/-*/-*/-*/-*/-*/-*/-*/-*/-*/-\n\nORIGINAIS {}\n\n'.format(data_ok)
conta_t_data = 0
for index, tweet in dados_data.head(20).iterrows():
conta_t_data += 1
rel_data = rel_data + '{}\n' \
'{} em {} às {}\n' \
'{}\n' \
'{}\n' \
'{} Curtidas | {} Retweets\n' \
'\n\n'.format(
conta_t_data,
tweet['Usuário'],
tweet['Data'],
tweet['Hora'],
tweet['Url'],
tweet['Texto'],
tweet['Curtidas'],
tweet['Retweets']
)
# senadores nessa data
rel_data = rel_data + '\n========================================================\nPUBLICAÇÕES DE SENADORES\n\n'
for senador in senadores['Perfil_senador']:
dados_sena_data = dados_data[dados_data['Usuário'] == senador.strip('@')]
if dados_sena_data.shape[0] > 0:
rel_data = rel_data + '------ {} ------\n\n'.format(senador)
conta_t_data_sena = 0
for index, tweet in dados_sena_data.iterrows():
conta_t_data_sena += 1
rel_data = rel_data + '{}\n' \
'{} em {} às {}\n' \
'{}\n' \
'{}\n' \
'{} Curtidas | {} Retweets\n' \
'\n\n'.format(
conta_t_data_sena,
tweet['Usuário'],
tweet['Data'],
tweet['Hora'],
tweet['Url'],
tweet['Texto'],
tweet['Curtidas'],
tweet['Retweets']
)
arquivo_rel_data = open('resultados/análises 2/{}/datas/{}.txt'.format(tema_n, data_ok), 'w', encoding='utf-8')
arquivo_rel_data.write(rel_data)
arquivo_rel_data.close()
# ---------------------------------------------------------------------------------------------------SENADORES
print('-*/-*/-*/-*-*/ SENADORES -*/-*/-/*\n')
# Marcar se o senador(a) falou sobre previdência e qual foi o primeiro dia
por_dia['Senador(a) entrou no assunto'] = 'Na'
por_dia['Senadores entraram no assunto'] = 0
por_dia['Publicações de senadores no assunto'] = 0
por_dia['Senadores publicaram no assunto'] = 0
contador = 0
for senador in senadores['Perfil_senador']:
dados_senador = dados_tema[dados_tema['Usuário'] == senador.strip('@')]
if dados_senador.shape[0] > 0:
senadores.iloc[contador, senadores.columns.get_loc('Falou sobre previdência 58d')] = 1
senadores.iloc[contador, senadores.columns.get_loc('Tweets sobre previdência 58d')] = dados_senador.shape[0]
senadores.iloc[contador, senadores.columns.get_loc('Entrou no tema previdênica 58d')] = dados_senador[
'DataPyt'].min()
conta_data = 0
for dia in por_dia['Data']:
# Confere se o senador publicou no dia
dados_senador_dia = dados_senador[dados_senador['DataPyt'] == dia]
if dados_senador_dia.shape[0] > 0:
# Se publicou, incrementa o número de senadores que publicou nesse dia e número de publicações de
# senadores do dia
por_dia.iloc[conta_data, por_dia.columns.get_loc('Senadores publicaram no assunto')] += 1
por_dia.iloc[conta_data, por_dia.columns.get_loc('Publicações de senadores no assunto')] += \
dados_senador_dia.shape[0]
# Marca o senador no primeiro dia em que publicou alguma coisa
if dia == dados_senador['DataPyt'].min():
por_dia.iloc[conta_data, por_dia.columns.get_loc('Senadores entraram no assunto')] += 1
if por_dia.iloc[conta_data, por_dia.columns.get_loc('Senador(a) entrou no assunto')] == 'Na':
por_dia.iloc[
conta_data, por_dia.columns.get_loc('Senador(a) entrou no assunto')] = senador
else:
por_dia.iloc[
conta_data, por_dia.columns.get_loc('Senador(a) entrou no assunto')] += ',' + senador
conta_data += 1
# pega mentions dos senadores e faz relatório
possui_mention_sen = dados_tema['Menções'].str.contains(senador) == True
mentions_senador = dados_tema[possui_mention_sen].sort_values(by='Engajamento', ascending=False).head(20)
possui_mention_sen_srt = dados_tema_srt['Menções'].str.contains(senador) == True
mentions_senador_srt = dados_tema_srt[possui_mention_sen_srt].sort_values(by='Engajamento', ascending=False).head(20)
rel_mention_sen = '{} Menções ao perfil {}\n======================\n'.format(mentions_senador.shape[0], senador)
rel_mention_sen = rel_mention_sen + 'TOP 20\n'
# relatório com tweets importantes da mention no período
# Com RTs
conta_mention_sen = 0
for index, tweet in mentions_senador.iterrows():
conta_mention_sen += 1
rel_mention_sen = rel_mention_sen + '{}\n' \
'{} em {} às {}\n' \
'{}\n' \
'{}\n' \
'{} Curtidas | {} Retweets\n' \
'\n\n'.format(
conta_mention_sen,
tweet['Usuário'],
tweet['Data'],
tweet['Hora'],
tweet['Url'],
tweet['Texto'],
tweet['Curtidas'],
tweet['Retweets']
)
# Sem RTs
rel_mention_sen = rel_mention_sen + '\n==================================\nTOP 20 ORIGINAIS\n\n'.format(senador)
conta_mention_sen = 0
for index, tweet in mentions_senador_srt.iterrows():
conta_mention_sen += 1
rel_mention_sen = rel_mention_sen + '{}\n' \
'{} em {} às {}\n' \
'{}\n' \
'{}\n' \
'{} Curtidas | {} Retweets\n' \
'\n\n'.format(
conta_mention_sen,
tweet['Usuário'],
tweet['Data'],
tweet['Hora'],
tweet['Url'],
tweet['Texto'],
tweet['Curtidas'],
tweet['Retweets']
)
arquivo_rel_mention_sen = open('resultados/análises 2/{}/mentions/senadores/Principais menções_{}.txt'.format(tema_n, senador), 'w', encoding='utf-8')
arquivo_rel_mention_sen.write(rel_mention_sen)
arquivo_rel_mention_sen.close()
contador += 1
print(por_dia['Senadores entraram no assunto'].unique())
senadores.to_csv('dados/senadores_votos_previdência.csv', index=False)
# -------------------------------------------------------------------------------------------GERAÇÃO DE CORPUS GERAL
if gerando_corpus:
# Gera corpus com os tweets
arquivo_corpus = abre_corpus(tema_n)
corpus = ''
loop = 0
for index, tweet in dados_tema.iterrows():
loop += 1
corpus = corpus + '{}\n\n'.format(tweet['Texto'])
if gerando_corpus_unificado:
corpus_unificado = corpus_unificado + '{}\n\n'.format(tweet['Texto'])
# Gera corpus sem RT
arquivo_corpus_srt = abre_corpus_srt(tema_n)
corpus_srt = ''
loop_srt = 0
for index, tweet in dados_tema_srt.iterrows():
loop_srt += 1
corpus_srt = corpus_srt + '{}\n\n'.format(tweet['Texto'])
if gerando_corpus_unificado:
corpus_unificado_srt = corpus_unificado_srt + '{}\n\n'.format(tweet['Texto'])
# Salva arquivos com corpus
arquivo_corpus.write(corpus)
arquivo_corpus_srt.write(corpus_srt)
# ----------------------------------------------------------------------------------------------TEMA DE INTERESSE
if analisando_tema_interesse:
# Cria df só com dados de tweets que mencionam alguma palavra-chave do tema de interesse
possui_termo = dados_tema['Texto'].apply(lambda tweet:
any(palavra.lower() in tweet.lower()
for palavra in palavras_de_interesse))
dados_tema_interesse = dados_tema[possui_termo]
print('----- {} tuítes com termos de interesse'.format(dados_tema_interesse.shape[0]))
if gerando_corpus_unificado:
if dados_tema_interesse.shape[0] > 0:
corpus_unificado_interesse_links = corpus_unificado_interesse_links + '\n\n\n**** *{}\n\n'.format(tema)
# Gera corpus com tweets que contém palavras-chave do tema de interesse | Anota links no txt de links
arquivo_corpus_interesse = abre_corpus_interesse(tema_n)
corpus_interesse = ''
loop_interesse = 0
for index, tweet in dados_tema_interesse.sort_values('DataPyt').iterrows():
loop_interesse += 1
lista_links = lista_links + '{} - {} às {}'.format(str(loop_interesse), tweet['Data'],
tweet['Hora'])
lista_links = lista_links + '\nhttps://{}\n\n'.format(tweet['Url'])
corpus_interesse = corpus_interesse + '{}\n\n'.format(tweet['Texto'])
if gerando_corpus_unificado:
corpus_unificado_interesse = corpus_unificado_interesse + '{}\n\n'.format(tweet['Texto'])
corpus_unificado_interesse_links = corpus_unificado_interesse_links + '--------------\n'
corpus_unificado_interesse_links = corpus_unificado_interesse_links + '{} - {} às {}\n'.format(
loop_interesse, tweet['Data'], tweet['Hora'])
corpus_unificado_interesse_links = corpus_unificado_interesse_links + 'https://{}\n'.format(
tweet['Url'])
corpus_unificado_interesse_links = corpus_unificado_interesse_links + '{}\n\n'.format(tweet['Texto'])
# Cria df com as quantidades por dia
termo_interesse_por_dia = pd.DataFrame(columns=['Data', 'Frequência'])
termo_interesse_por_dia['Data'] = dados_tema['DataPyt']
termo_interesse_por_dia['Frequência'] = possui_termo
termo_interesse_por_dia = termo_interesse_por_dia.groupby(by='Data', as_index=False).sum()
# Acrescenta no df por dia a versão em int (sem isso tava indo str)
por_dia[tema_de_interesse] = termo_interesse_por_dia['Frequência'].apply(lambda x: int(x))
# Salva arquivos com corpus de interesse
arquivo_corpus_interesse.write(corpus_interesse)
if gerando_corpus:
arquivo_corpus.write('\n**** * {}\n\n'.format(tema_de_interesse) + corpus_interesse)
dados_tema_interesse_srt = dados_tema_interesse[dados_tema_interesse['Retwitado invert']]
engajamento_medio_interesse = dados_tema_interesse_srt['Engajamento'].mean()
desvio_padrao_engajamento_interesse = dados_tema_interesse_srt['Engajamento'].std()
percentual_engajamento_medio = (engajamento_medio_interesse / engajamento_medio) * 100
# Engajamento no tema de interesse por dia
# Cria df com as quantidades por dia
engajamento_interesse_por_dia = pd.DataFrame(columns=['Data', 'Engajamento'])
engajamento_interesse_por_dia['Data'] = dados_tema['DataPyt']
engajamento_interesse_por_dia['Engajamento'] = dados_tema['Engajamento'][possui_termo]
engajamento_interesse_por_dia = engajamento_interesse_por_dia.groupby(by='Data', as_index=False).sum()
# Acrescenta no df por dia
por_dia['Engajamento sobre {}'.format(tema_de_interesse)] = engajamento_interesse_por_dia['Engajamento'] \
.apply(lambda x: int(x))
# ---------------------------------------------------------------------------------------------------ENGAJAMENTO 2
# Esta parte seleciona os tuítes com mais engajamento do perfil
top_tweets_engajamento = dados_tema_srt.sort_values(by='Engajamento', ascending=False).head(quantidade_top_tweets)
lista_links_top = '-------------\n{} tuítes (sem RTs) com mais engajamento\n\n'.format(quantidade_top_tweets)
loop_top = 0
for index, tweet in top_tweets_engajamento.iterrows():
loop_top += 1
lista_links_top = lista_links_top + '{}° - {} às {}'.format(str(loop_top), tweet['Data'], tweet['Hora'])
lista_links_top = lista_links_top + '\nhttps://{}\n\n'.format(tweet['Url'])
# Agora com menos engajamento
bottom_tweets_engajamento = dados_tema_srt.sort_values(by='Engajamento', ascending=True).head(quantidade_top_tweets)
lista_links_bottom = '-------------\n{} tuítes (sem RTs) com menos engajamento\n\n'.format(quantidade_top_tweets)
loop_bottom = 0
for index, tweet in top_tweets_engajamento.iterrows():
loop_bottom += 1
lista_links_bottom = lista_links_bottom + '{}° - {} às {}'.format(str(loop_bottom),
tweet['Data'], tweet['Hora'])
lista_links_bottom = lista_links_bottom + '\nhttps://{}\n\n'.format(tweet['Url'])
# Com mais engajamento no tema de interesse
if analisando_tema_interesse:
top_tweets_engajamento_interesse = dados_tema_interesse_srt.sort_values(by='Engajamento', ascending=False) \
.head(quantidade_top_tweets_interesse)
lista_links_top_interesse = '-------------\n{} tuítes (sem RTs) com mais engajamento no subtema de interesse\n\n'. \
format(quantidade_top_tweets_interesse)
loop_top_interesse = 0
for index, tweet in top_tweets_engajamento_interesse.iterrows():
loop_top_interesse += 1
lista_links_top_interesse = lista_links_top_interesse + '{}° - {} às {}'.format(str(
loop_top_interesse), tweet['Data'], tweet['Hora'])
lista_links_top_interesse = lista_links_top_interesse + '\nhttps://{}\n\n'.format(tweet['Url'])
# -----------------------------------------------------------------------------------------------------HASHTAGS
# Gera lista com todas as hashtags
hashtags = []
contagem = []
for index, tweet in dados_tema.iterrows():
if tweet['Hashtags'] != '[]':
for tag in tweet['Hashtags'].split(','):
# Remove chars indesejados da string
tag = tag.strip('[')
tag = tag.strip(']')
tag = tag.strip("'")
# As vezes fica uma apóstrofe no início por alguma razão. Gambiarra pra remover isso:
tag = tag.split('#')[-1]
# Volta a #
tag = '#' + tag
# Incrementa o df
hashtags.append(tag)
contagem.append(1)
# Cria df com colunas a partir das listas
hashtags_df = pd.DataFrame(columns=['Hashtag', 'Contagem'])
hashtags_df['Hashtag'] = hashtags
hashtags_df['Contagem'] = contagem
# transforma hashtags em suas versões minúsculas e sem acento
hashtags_df['Hashtag'] = hashtags_df['Hashtag'].apply(lambda x: unidecode.unidecode(x.lower()))
# Agrupa df por hashtag
hashtags_df = hashtags_df.groupby(by='Hashtag', as_index=False).sum().sort_values(by='Contagem', ascending=False)
# Salva csv do df
salva_hashtags_contagem(hashtags_df, tema_n)
# Top 5 hashtags ao longo do tempo
# Lista com hashtags que mais aparecem
top_hashtags = hashtags_df['Hashtag'][0:10]
for tag in top_hashtags:
# Pega tweets com a hashtag
dados_tema['Hashtags min'] = dados_tema['Hashtags'].apply(lambda x : unidecode.unidecode(x.lower()))
possui_tag = dados_tema['Hashtags min'].str.contains(tag) == True
# relatório com tweets importantes da hashtag no período
# Com RTs
tweets_importantes_tag = dados_tema[possui_tag].sort_values(by='Engajamento', ascending=False)
tweets_importantes_tag = tweets_importantes_tag.head(20)
rel_tag = 'Principais tweets com {}\n\n'.format(tag)
conta = 0
for index, tweet in tweets_importantes_tag.iterrows():
conta += 1
rel_tag = rel_tag + '@{}\n' \
'{} em {} às {}\n' \
'{}\n' \
'{}\n' \
'{} Curtidas | {} Retweets\n' \
'\n\n'.format(
conta,
tweet['Usuário'],
tweet['Data'],
tweet['Hora'],
tweet['Url'],
tweet['Texto'],
tweet['Curtidas'],
tweet['Retweets']